Googleのジョンミューラー：「ウェブ全体をクロールすることは不可能です」

【Google翻訳】
GoogleのJohnMuellerが、ウェブ上のすべてのURLをクロールして検出することが不可能な理由を説明しています。

SEOツールがすべての被リンクを表示しない理由についての質問に答えて、Googleの検索支持者であるジョンミューラーは、ウェブ全体をクロールすることは不可能であると言います。

これは、欲求不満のSEO専門家によって開始されたスレッドのRedditに関するコメントで述べられています。

彼らは、サイトを指すすべてのリンクが、使用しているSEOツールによって検出されない理由を尋ねます。

その人がどのツールを使用しているかは重要ではありません。 Muellerから学んだように、どのツールもWebサイトのインバウンドリンクを100％検出することはできません。

その理由は次のとおりです。

Webを「適切に」クロールする方法はありません

ミューラー氏によると、ウェブにはURLが無数にあるため、客観的に正しい方法でウェブをクロールすることはできません。
データベースに無限の量のURLを保持するためのリソースを持っている人はいないため、Webクローラーはクロールする価値のあるものを判断しようとします

Muellerが説明するように、それは必然的にURLが頻繁にクロールされないか、まったくクロールされないことにつながります。

「ウェブを適切にクロールする客観的な方法はありません。

実際のURLの数は事実上無限であるため、すべてをクロールすることは理論的に不可能です。データベースに無限の数のURLを保持する余裕はないため、すべてのWebクローラーは、実際にクロールする価値があるものについて、仮定、単純化、および推測を行います。

それでも、実用的な目的では、常にすべてをクロールすることはできません。インターネットにはそのための十分な接続性と帯域幅がなく、多くのページに定期的にアクセスする場合は多額の費用がかかります。 （クローラー用、およびサイトの所有者用）。

それを過ぎると、一部のページはすぐに変更され、他のページは10年間変更されません。そのため、クローラーは、変更されないと予想されるページではなく、変更されると予想されるページに焦点を当てることで、労力を節約しようとします。」

Webクローラーがクロールに値するものを決定する方法

Muellerはさらに、検索エンジンやSEOツールを含むWebクローラーが、どのURLをクロールする価値があるかを判断する方法について説明します。

「次に、クローラーが実際に役立つページを見つけようとする部分に触れます。

ウェブは誰も気にしないがらくた、役に立たないようにスパムされたページでいっぱいです。 これらのページは引き続き定期的に変更される可能性があり、適切なURLが含まれている可能性がありますが、それらは埋め立て地に向けられているだけであり、ユーザーを気にする検索エンジンはそれらを無視します。

時にはそれは単なるジャンクではありません。 ますます多くのサイトは技術的には問題ありませんが、品質の観点から「バー」に到達することはできず、さらにクロールされるメリットがあります。」

Webクローラーは限られたURLセットで動作します

Muellerは、すべてのWebクローラーが「単純化された」URLのセットで動作すると述べて彼の応答を締めくくっています。

前述のように、ウェブをクロールする正しい方法がないため、すべてのSEOツールには、クロールする価値のあるURLを決定する独自の方法があります。

そのため、あるツールが別のツールが検出しなかった被リンクを検出する場合があります。

「したがって、すべてのクローラー（SEOツールを含む）は非常に単純化されたURLのセットで動作し、クロールの頻度、より頻繁にクロールするURL、およびWebのどの部分を無視するかを決定する必要があります。 これには決まったルールがないため、すべてのツールが途中で独自の決定を行う必要があります。 そのため、検索エンジンではさまざまなコンテンツのインデックスが作成され、SEOツールではさまざまなリンクが一覧表示され、これらの上に構築された指標は非常に異なります。」

SEOコンサルタントのまとめ

■Google JohnMueller(ジョン・ミューラー)氏
ウェブにはURLが無数にあるため、客観的に正しい方法でウェブをクロールすることはできません。