Googlebotは404を返すページでもクロールし続ける。そういうものだ
Googleのクローラー「Googlebot」が404ページでもクロールする、という話題です。
Googlebotは404を返すページでもクロールし続ける。そういうものだ
ずっと前から404を返している「存在しないページ」をGooglebotが依然としてクロールすることについて、ジョン・ミューラー氏は次のようにコメントした。
『古い404ページをグーグルは確かにクロールする――時々だが。
そのこと自体は何も心配しなくていい。
ただし、ページが500番台のエラーを返していたら問題になる。クロールが減るからだ。また、インデックスされるはずのページがGooglebotに404を返しているとしたら、それも問題だ。』That’s a very vague question, and a post from 2016, it makes it a bit hard to guess :). We do crawl old 404 pages from time to time, that’s nothing to worry about. It’s more problematic if they’re 5xx errors (we slow crawling), or if the URLs were meant to be indexed.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 2018年7月9日
「存在しない404ページをGooglebotがいつまでたってもクロールする」ことに関する質問は、たびたび出てくる。しかし、気にすることはない。次のことを理解しておけばいい。
Googlebotは、一度でも発見したURLを半永久的にクロールし続ける
たとえそのURLが404や410を返していても、クロールする（頻度は減るが）
なぜなら、将来そのURLでコンテンツが復活したり別のコンテンツが掲載されたりする可能性があるから
本当に存在しないURLが404を返しているのは自然な状態だ。Googlebotが訪問していようが何であろうが、404ページなら気にしなくていい。
ただし、アクセスできるはずのページが404を返しているのは至急の対応が必要だし、コンテンツがないページなのに404を返さない「ソフト404」も問題だから修正すべきだ。
また、500番台のエラーに関しては、1回や2回発生していても問題にはならない。だが、長期間続いていたり断続的に起こっていたりするようなら調査が必要だ。500エラーの状態が長引くと、インデックスから消えることもある。
SEOコンサルタントの感想
「404を返しているのは自然な状態」なのですから、クロールされていても気にしなくて良い
という事ですね。