robots.txtの書き方…「全URLをクロールOKにするにはどう書く？」

robots.txtの書き方クイズ： 全URLをクロールOKにするにはどう書く？

クロールを拒否するURLがない（全URLをクロール対象とする）場合、robots.txt はどのようにすればいいのだろうか？

いくつかの正解がある。

robots.txtを設置しない

robots.txt自体をサーバーに置かない。

注意点として、robots.txtにアクセスしたときには404のステータスコードを返すこと。もし500番台のステータスコードを返し、その状態が長く続くとインデックスから消えることがある。

robots.txtに何も書かない

空っぽのrobots.txtをサーバーに置く。

命令が何も書かれていないので、検索エンジンはすべてのURLをクロールする。

Disallow: だけを記述する

次のように記述したrobots.txtをサーバーに置く。

Use-Agent: *
Disallow:

拒否するURLを何も指定していないので、検索エンジンはすべてのURLをクロールする。注意点として、Disallow: / にしては絶対にいけない。これはすべてのURLのクロールを拒否する命令になる。

Allow: / だけを記述する

次のように記述したrobots.txtをサーバーに置く。

Use-Agent: *
Allow: /

すべてのURLへのクロールを許可する内容になる。

これらのどれを採用しても構わない（ただし注意点には気を付けること）。検索エンジンの処理に差異はない。

SEOコンサルタントのまとめ

「robots.txt」についての勉強になりますね。