SEOコンサルタントの運営するSEO最新情報・SEOのサイトです。SEO最新情報、SEO業者の紹介など。運営者はSEOコンサルタント・白石竜次（「世界一わかりやすいSEO対策 最初に読む本（技術評論社）」他）です。お気軽にお問合せください。

SEOコンサルタント.com

robots.txtファイル内のnofollow、noindexのサポートを廃止「何年もの間それに頼らないように言っています」

投稿日：2019年7月5日 更新日：

完全版を表示する

【SEO】robots.txtファイル内のnofollow、noindexのサポートを廃止「何年もの間それに頼らないように言っています」

robots.txtファイル内のnoindex、nofollowについて

robots.txtのクロール遅延、nofollow、noindexのサポートを廃止

Google To Drop Any Support For crawl-delay, nofollow, and noindex in robots.txt[Search Engine Roundtable]

【Google翻訳】
robots.txtのクロール遅延、nofollow、noindexのサポートを廃止

Googleは今朝、robots.txtファイル内のnoindex、nofollow、およびcrawl-delayディレクティブのサポートを非公式に中止する予定であることを明らかにしました。グーグルはこれを実際何年もの間行わないようにと言っていて、これがもうすぐやってくることをほのめかしてそして今ここにある。

Googleは、「パーサーライブラリをオープンソース化しながら、robots.txtルールの使用法を分析しました。特に、クロール遅延、nofollow、noindexなど、インターネットドラフトではサポートされていないルールに焦点を当てました。 Googleによると、当然ながら、Googlebotとの関連での使用は非常に少なく、さらに調査してみると、インターネット上のrobots.txtファイル全体の0.001％を除く他の規則と矛盾していることがわかりました。グーグルの検索結果は、ウェブマスターが意図していたとは思わないような結果になっている」と述べた。

つまり、robots.txtファイルでクロール遅延、nofollow、noindexに言及した場合 – Googleは2019年9月1日にそれを尊重するのをやめるでしょう。彼らは現在、それらが「サポートされておらず、未発表のルール」であるとしても、それらの実装のいくつかを尊重しますが、2019年9月1日にそうすることをやめるでしょう。

robots.txtファイルでこれらのサポートされていないコマンドを使用している場合、GoogleはGoogle検索コンソールを介して通知を送信することがあります。

■Google JohnMueller(ジョン・ミューラー)氏
「それを使っているサイトがそれらを知っているのか、そしてグーグルが警告を送り始めるのかどうか私は思っています。 警告メール@JohnMuまたは@methodeはありますか？」
↓
『良い提案ですね。 私達の電子メールを読んでいますか？
/部屋をスキャンするためにゆっくり向きを変えます』

私が上で言ったように、グーグルはウェブマスターとSEOにrobots.txtでnoindexを使わないように言っています：

■Google JohnMueller(ジョン・ミューラー)氏
「いいね。 robots.txtでnoindexを使用している人は、9月まで外観を見て整理する必要があります。今後サポートされる予定はないためです。」
↓
『さて、私達は何年もの間それに頼らないように言っています:)。』

「より多くの柔軟性、より多くのツール、そしてより多くのコントロールが採用を可能にします。 索引付けの問題がある大規模なサイトで塹壕の中で働く誰かとして、私は努力が報酬を正当化しないので今これらの問題に取り組むことに迷惑をかけない多くの人が知っています。 それは信じられないほどイライラすることです。」
↓
『あなたは、私たちが人々に何年もの間これに頼らないように言ってきたことを認識していますか？』

グーグルは、この変更は最終的に起こると私達に言った：

■Google Gary Illyes(ゲイリー・イリーシュ)氏
数週間前に約束したように、私はrobotstxtでnoindexについての分析を実行しました。 自分を傷つけているサイトの数は非常に多くなっています。 私は正直に言って、これはエコシステムにとってより良いものであり、それを正しく使った人たちは同じことを達成するためのより良い方法を見つけるであろうと信じています。

彼は正直申し訳ないと言った。

「あなたですか？」
↓
「正直なところ…今すぐ…はい」

しかし、グーグルはその影響と、もしあれば小さな影響を調べて分析した。 実際、彼らは数ヶ月間変更を加えていません、そして私が上で述べたように、影響を受ける人々に電子メールを送るかもしれません：

■Google JohnMueller(ジョン・ミューラー)氏
「さて、皆さんはデータを持っています – 確かに必要なリスクを評価できますか？ ：P」
↓
『うん！ 私たちはこのような変更を実際には行わないのです。』

クライアントがrobots.txtファイル内のこれらのサポートされていないコマンドに依存していないことを確認するために、監査をまとめてみましょう。

これは、Googleがnoindexディレクティブの代替案に関して投稿したものです。

robotsメタタグ内のNoindex：HTTP応答ヘッダーとHTMLの両方でサポートされているため、クロールが許可されている場合にインデックスからURLを削除する最も効果的な方法はnoindexディレクティブです。
404および410 HTTPステータスコード：どちらのステータスコードもページが存在しないことを意味します。クロールおよび処理されると、そのようなURLはGoogleのインデックスから削除されます。
パスワード保護：購読またはペイウォールコンテンツを示すためにマークアップが使用されていない限り、ログインの背後にあるページを非表示にすると、通常Googleのインデックスから削除されます。
robots.txtを許可しない：検索エンジンは自分が知っているページしかインデックス付けできないため、ページがクロールされないようブロックすると、通常そのコンテンツはインデックス付けされません。 検索エンジンは他のページからのリンクに基づいてURLを索引付けすることもできますが、コンテンツ自体は表示されませんが、今後はそのようなページを見にくくすることを目指します。
検索コンソールURL削除ツール：このツールは、Googleの検索結果から一時的にURLを削除するための迅速で簡単な方法です。

A note on unsupported rules in robots.txt

A note on unsupported rules in robots.txt[Google Webmaster Central Blog]
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Google Webmasters

Google Webmasters
‏今日は、robots.txtの文書化されていないサポートされていない規則に別れを告げます👋
あなたがこれらの規則に頼っていたならば、私たちのブログ記事であなたのオプションについて学びなさい。

SEOコンサルタントのまとめ

robots.txtでnoindexを使わないように！

  • B!