robots.txtをrobots.txtでブロックしても機能しない
robots.txtをrobots.txtでブロックしたらどうなる？
■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
質問 次の記述のように、Googlebotがrobots.txtをクロールするのをrobots.txtでブロックしたらどうなるか？
質問 次の記述のように、Googlebotがrobots.txtをクロールするのをrobots.txtでブロックしたらどうなるか？
User-agent: Googlebot
Disallow: /robots.txt
Disallow: /robots.txt
回答①： Googlebotは通常どおりクロールする
回答②： Googlebotはクロールしない
正解は①だ。robots.txtをrobots.txtでブロックしても機能しない。robots.txtの仕様に従うクローラはrobots.txtの記述を命令として必ず適用する。しかし、ブロック対象としてrobots.txtは例外だ。
検索エンジンはサイトにアクセスする際にまずrobots.txtの内容を確認する。イメージ的には、robots.txtを見たら「robots.txtを見てはダメ」と書かれていたけれど「もう遅いよ！ 見ちゃったよ！」といった感じだろうか。
question from @rich_falconer :
'''
What happens if you do this in robots.txt?User-agent: Googlebot
Disallow: /robots.txt
'''— Gary 鯨理／경리 Illyes (@methode) July 18, 2020
SEOコンサルタントのまとめ
「robots.txtをrobots.txtでブロックしても機能しない」のだそうです。
理由は検索エンジンはサイトにアクセスする際にまずrobots.txtの内容を確認するから、とのこと。
