Search Consoleの「クロールの統計情報」が上がった！Google「気にしなくて良い」

Search Consoleの指標の中で「クロール」の中の「クロールの統計情報」についてGoogleが答えました。

クロール統計情報の「ページのダウンロード時間」が急上昇、どうしたらいい？

Google検索結果でクーポン配布や販売ページへの直リンクが可能に！？【SEO記事12本まとめ】[Web担当者Forum]

Search Consoleのクロールの統計情報にレポートされる「ページのダウンロード時間」が突然上昇していました。どこを調査したらいいですか？

英語版のオフィスアワーで、こんな質問が出た。

Search Consoleの［クロール］＞［クロールの統計情報］で確認できる、Googlebotの活動状況レポートに関する質問だ。

このレポートに表示される「ページのダウンロード時間」で日々の変動幅が大きいのは、珍しいことではない。逆にほとんど変動しないサイトもある。タイミングやサイトによっても変わってくる。

この「ページのダウンロード時間が急に伸びてしまった」という質問に、グーグルのジョン・ミューラー氏は次のように説明した。

『たいていの場合は気にしなくていい。ダウンロード時間は不規則に変化するのが普通だ。
1つ気を付けたいことがある。本当にものすごい急上昇があったとき、たとえば、ずっと200～300ミリ秒だったのに、突然20秒なんて風になってしまったときは、その期間のサーバーログを見てどのURLがリクエストされているのか入念に調べたほうがいい。
以前よりも多くのURLをクロールして、ひょっとしたらサーバーに負荷がかかっているかもしれない。あるいは、違うURLをたくさんクロールしていて本当にクロールされるべきページがクロールされていないかもしれない。
一般的に言って、ダウンロード時間にはさまざまな要因が関わってくるから、レポートだけを見て原因を特定することはできない。サーバーログを見て、どのURLがクロールされているのかを調べる必要がある。以前と何が違うのか調査したほうがいい。
特に問題とは思えなかったり、一時的なものだったり、サイズが大きいページがリクエストされただけだったりしたら、何も問題ない。』

「ページのダウンロード時間」にレポートされる数字は、日々変わるものだ。少しぐらい変動があっても、通常は心配しなくていい（「1日あたりのクロールされたページ数」と「1日にダウンロードされるキロバイト数」のレポートも同様だ）。

しかし、明らかに異常な変化があったときは、ミューラー氏がアドバイスするように、どのURLが原因なのかをサーバーログをもとに調査したほうがよさそうだ。

Googlebotのクロール速度が速すぎるとサーバーに負荷がかかり、ユーザーの閲覧に悪影響が発生することがある。実際に負荷がかかり過ぎているとしたら、Googlebotのクロール頻度の変更も検討したほうがいいだろう。

ほかにも、サーバーの構成で大量の重複URLや無限ループのURLが発生していたとしたら、本当にクロールされるべきURLがクロールされなくなってしまうだろう。それこそクロールバジェットの無駄使いだ。

またミューラー氏は言及していないが、サーバー側にトラブルがあって、クロール数に関係なく反応が遅くなってしまっている場合もある。

可能ならば、Search Consoleだけに頼るのではなく、一般的なページ表示速度のモニタリングツールを併用しておくと、より良いだろう。