Google「大規模サイトではGoogleクロール設定を使用しないでください」
Google:大規模サイトではGoogleクロール設定を使用しないでください
【Google翻訳】
Google:大規模サイトではGoogleクロール設定を使用しないでくださいグーグルのジョン・ミューラーは、「本当に大きなサイト」はクロール設定を使用すべきではないと述べた。 大規模なサイトは、Google Search Consoleでの最大値を超える必要があり、クロール設定でそれを行うことはできません。
Googleのジョンミューラーは次のように述べています。
彼は今週のビデオハングアウトの22:01マークで「特に大きなサイトでは、クロールレート設定を使用している場合、設定の最大値はおそらくあなたのニーズに対して小さすぎます」と述べました。
English Google Webmaster Central office-hours from October 1, 2019
https://www.youtube.com/watch?v=iK8tGopTa-A
SEOコンサルタントのまとめ
大規模サイトのSEOではクロールについての対処が大きな割合を占めます。