Google「GoogleBotの404のクロールをブロックしない」

Google：GoogleBotの404のクロールをブロックしない

【Google翻訳】
Google：GoogleBotの404のクロールをブロックしない

グーグルのジョン・ミュラー氏は、グーグルや他の検索エンジンが404サーバーのステータスコードを返すページをクロールしないようにブロックすると、「あらゆる種類の問題を引き起こす非常に悪い考えだ」と語った。 「毎日何十億もの404ページがGoogleによってクロールされている」と彼は言い、それは正常です。

あるウェブマスターは、「ウェブサイトは、Googlebotを含め、10を超える404エラーが発生するユーザーエージェントを自動的にブロックするため、問題がある」と述べています。 ジョンはこれは本当に悪い考えだと答え、「それはあらゆる種類の問題を引き起こす本当に悪い考えのように聞こえます。Googlebotと他のすべての検索エンジンが404に遭遇することは避けられません。常にクロールする 以前は404と見なされていたURLが含まれています。」

■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
私のウェブサイトは、Googlebotを含め、10 404を超えるエラーが発生するユーザーエージェントを自動的にブロックするため、これは問題です。
私はそれらのリンクを、関連するコンテンツを持つ他のより関連性の高いサイトにリダイレクトする301です。
毎週数百の新しい404があります。
↓
それはあらゆる種類の問題を引き起こす非常に悪い考えのように聞こえます。Googlebotと他のすべての検索エンジンが404に実行されることは避けられません。 クロールには常に、以前は404と見なされていたURLが含まれます。

That sounds like a really bad idea which will cause all sorts of problems.. You can't avoid that Googlebot & all other search engines will run into 404s. Crawling always includes URLs that were previously seen to be 404.

— ?? John ?? (@JohnMu) July 15, 2020

彼は同じ日に別のツイートで、「毎日何十億もの404ページがクロールされています。これはWebの通常の部分であり、URLが存在しないことを示す適切な方法です。これは必要なことではありません。 または抑制できます。」

■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
毎日何十億ものページがクロールされます-これは通常のWebの一部であり、URLが存在しないことを知らせる適切な方法です。 それはあなたが抑制したり、抑制したりできるものではありません。

Billions of 404 pages are crawled every day – it's a normal part of the web, it's the proper way to signal that a URL doesn't exist. That's not something you need to, or can, suppress.

— ?? John ?? (@JohnMu) July 15, 2020

したがって、他の方法で404ページを修正することはできますが、Googleが404ページにどのようにアクセスしているかを知らずに、Googleが404ページにアクセスするのを自動的にブロックすることは、非常に悪い考えです。