Google「Robots.txtまたはサイトマップファイルが通常のクエリでランク付けされている場合、それは悪い兆候です」

Google：Robots.txtまたはサイトマップファイルが通常のクエリでランク付けされている場合、それは悪い兆候です

【Google翻訳】
Google：Robots.txtまたはサイトマップファイルが通常のクエリでランク付けされている場合、それは悪い兆候です

GoogleのGary Illyesによってトリガーされた多数のツイートがあり、その後GoogleのJohn Muellerがrobots.txtおよびGoogleでのXMLサイトマップファイルのランキングについてフォローしました。 つまり、通常のクエリでランク付けされている場合、John Mueller氏は「これは通常、サイトが本当に悪い状態であり、代わりに改善する必要があることを示しています」と述べています。

Garyのツイートから始めましょう。

■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
内部質問によってトリガーされます。インデックス作成の観点からのrobots.txtは、コンテンツをインデックス化できるURLです。 他のURLと同じように、標準になるか、重複排除することができます。
クロールには特別な意味しかありませんが、インデックスのステータスはまったく問題ではありません。

Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
It only has special meaning for crawling, but there its index status doesn’t matter at all. pic.twitter.com/bBMXy1XcRF

— Gary “鯨理／경리” Illyes (@methode) November 6, 2019

robots.txtファイルのインデックスを作成し、Googleでランク付けすることができます。
次に、x-robots-tag HTTPヘッダーを使用して、これらのインデックスが作成されないようにブロックできることを追加します。

■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
x-robots-tag HTTPヘッダーを使用して、robots.txtまたはサイトマップファイルのインデックス作成をブロックします。 また、robots.txtまたはサイトマップファイルが（site：ではなく）通常のクエリでランク付けされている場合、それは通常、サイトが本当に悪い状態であり、代わりに改善する必要があることを示しています。

Use the x-robots-tag HTTP header to block indexing of the robots.txt or sitemaps files. Also, if your robots.txt or sitemap file is ranking for normal queries (not site:), that’s usually a sign that your site is really bad off and should be improved instead. https://t.co/DpWz6sYanN

— 🍌 John 🍌 (@JohnMu) November 7, 2019

ただし、robots.txtファイルまたはサイトマップファイルのランキングが表示されている場合、「robots.txtまたはサイトマップファイルが通常のクエリ（site：ではない）のランキングである場合、それは通常、サイトが本当に悪いというサインです」 代わりに改善する必要があります。」

追加された許可されていないジョンを使用することもできます：

■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
「robots.txtの/robots.txtを許可しない」
↓
『ヒント：「disallow：/」には/robots.txtも含まれます。』

Tip: “disallow: /” also includes /robots.txt.

— 🍌 John 🍌 (@JohnMu) November 7, 2019

誤解しているのかもしれませんが、ジョンは2018年にここで不許可は機能しないと言いましたか？ 当時の彼のツイートはこちらですか？

「robots.txtでrobots.txtが許可されていない場合、Googlebotはどのように反応しますか？」
↓
『robots.txtの処理方法には影響しませんが、引き続き通常どおり処理します。 ただし、robots.txtファイルに誰かがリンクし、それ以外の方法でインデックスが作成される場合、そのコンテンツのインデックスを作成して検索で表示することはできません（ほとんどのサイトでは、とにかく面白くありません）』

It doesn’t affect how we process the robots.txt, we’ll still process it normally. However, if someone’s linking to your robots.txt file and it would otherwise be indexed, we wouldn’t be able to index its content & show it in search (for most sites, that’s not interesting anyway)

— 🍌 John 🍌 (@JohnMu) June 29, 2018

robots.txtで許可しない場合は、遅すぎると思います。
ジョンは、Googleにサイトマップファイルのインデックスを作成する理由は本当にない、とGoogleは異なる方法で処理する、と言った

「しかし、なぜサイトマップのインデックス作成をブロックするのですか？ httpヘッダーにnoindexをスローすると、Googleは最終的にクロールを停止しませんか？」
↓
『いいえ。サイトマップファイルは通常、プログラムで直接使用するためのものであり、インデックスを作成する必要はありません。』

No. A sitemap file is usually just meant for direct usage by programs, it doesn’t need to be indexed.

— 🍌 John 🍌 (@JohnMu) November 7, 2019

SEOコンサルタントのまとめ

たしかに検索結果にサイトマップファイルが出るのはおかしいですね。。