【SEO】Googlebotは古い404ページをクロールする

Googlebotは404を返すページでもクロールし続ける。そういうものだ

Googleのクローラー「Googlebot」が404ページでもクロールする、という話題です。

Googlebotは404を返すページでもクロールし続ける。そういうものだ

ずっと前から404を返している「存在しないページ」をGooglebotが依然としてクロールすることについて、ジョン・ミューラー氏は次のようにコメントした。

『古い404ページをグーグルは確かにクロールする――時々だが。
そのこと自体は何も心配しなくていい。
ただし、ページが500番台のエラーを返していたら問題になる。クロールが減るからだ。また、インデックスされるはずのページがGooglebotに404を返しているとしたら、それも問題だ。』

「存在しない404ページをGooglebotがいつまでたってもクロールする」ことに関する質問は、たびたび出てくる。しかし、気にすることはない。次のことを理解しておけばいい。

Googlebotは、一度でも発見したURLを半永久的にクロールし続ける

たとえそのURLが404や410を返していても、クロールする(頻度は減るが)

なぜなら、将来そのURLでコンテンツが復活したり別のコンテンツが掲載されたりする可能性があるから

本当に存在しないURLが404を返しているのは自然な状態だ。Googlebotが訪問していようが何であろうが、404ページなら気にしなくていい。

ただし、アクセスできるはずのページが404を返しているのは至急の対応が必要だし、コンテンツがないページなのに404を返さない「ソフト404」も問題だから修正すべきだ。

また、500番台のエラーに関しては、1回や2回発生していても問題にはならない。だが、長期間続いていたり断続的に起こっていたりするようなら調査が必要だ。500エラーの状態が長引くと、インデックスから消えることもある。

SEOコンサルタントの感想

「404を返しているのは自然な状態」なのですから、クロールされていても気にしなくて良い
という事ですね。

SEO・IT漫画「ウェブマブ!」

マンガボックスインディーズ

「ウェブマブ!」 第3話(5-6P)

LINEマンガインディーズ

「ウェブマブ!」 第3話(5-6P)「お客様先に訪問」

少年ジャンプルーキー

「ウェブマブ!」 第3話(5-6P)

あしたのヤングジャンプ

「ウェブマブ!」 第3話(5-6P)

DAYS NEO -デイズ ネオ-

「ウェブマブ!」 第3話(5-6P)

マガジンデビュー

「ウェブマブ!」 第3話(5-6P)「お客様先に訪問」

マンガハック

「ウェブマブ!」 第3話(5-6P)「お客様先に訪問」

SEOまんが

SEOコンサルタント問い合わせ
SEOコンサルタント問い合わせ
スポンサーリンク
スポンサーリンク
スポンサーリンク

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク
スポンサーリンク