Google：検索エンジンへのXMLサイトマップアクセスを制限できます

【Google翻訳】
GoogleのJohnMuellerは、XMLサイトマップへのアクセスを検索エンジンのみに制限することは許容できると述べました。 したがって、人間がXMLサイトマップを表示するのを技術的にブロックし、Googleにアクセスを許可することができます。

これは、ChristophCemperがCloudflareを使用してXMLサイトマップファイルへのアクセスを制限しているいくつかのサイトについて質問したときに発生しました。 クリストフは「.Cloudflareによって「保護された」xmlサイトマップを見ました。Googlebotがそのキャプチャを入力するのか、後で再試行するのか、それともマップを無視するのか疑問に思います。そのような場合の経験/ガイダンス@JohnMuはありますか？」

ジョンはツイッターで「それでいい。これらのサイトマップファイルは検索エンジン用であり、それに応じてアクセスを制限することを好むサイトもある」と答えた。

これらのツイートは次のとおりです。

。@Cloudflareによって「保護された」xmlサイトマップを見た
Googlebotがそのキャプチャを入力するのか、後で再試行するのか、それとも地図を無視するのか疑問に思います。
そのような場合の経験/ガイダンス。@JohnMu？
サイトマップやロボットなどのメタファイルもスクレーパーから保護されるようになりましたか？
↓
それはいいです。 これらのサイトマップファイルは検索エンジン用であり、一部のサイトはそれに応じてアクセスを制限することを好みます。

That's fine. These sitemap files are for search engines, and some sites prefer to restrict their access accordingly.

— 🐝 johnmu.xml (personal) 🐝 (@JohnMu) June 6, 2022

ジョンありがとう。
コンテキストとして、これは@URLinspectorのデバッグで発生し、サイト構造の検出にもサイトマップを使用します。
検索エンジンではありませんが、クロールツールはファイアウォールによってもホワイトリストに登録される必要があります。ScreamingFrogなどについても同じだと思います...
↓
何をしようとしているのかによると思います。 ランダムなユーザーがサイトマップをクロールしたくない場合は、必ずすべてのユーザーをブロックしてください。

I guess it depends on what you're trying to do. If you don't want random people crawling your sitemap, then by all means block them all.

— 🐝 johnmu.xml (personal) 🐝 (@JohnMu) June 8, 2022

XMLサイトマップファイルは人間ではなく検索エンジン用に設計されているため、人間はサイトマップファイルを見る必要がないため、これは明らかにクローキングの形式ではありません。 しかし、これは明らかにHTMLサイトマップファイルには当てはまりません...

SEOコンサルタントのまとめ

GoogleのJohnMuellerは、XMLサイトマップへのアクセスを検索エンジンのみに制限することは許容できると述べました。 したがって、人間がXMLサイトマップを表示するのを技術的にブロックし、Googleにアクセスを許可することができます。[Search Engine Roundtable]