目次
robots.txtの書き方…「全URLをクロールOKにするにはどう書く？」
robots.txtの書き方クイズ： 全URLをクロールOKにするにはどう書く？
クロールを拒否するURLがない（全URLをクロール対象とする）場合、robots.txt はどのようにすればいいのだろうか？
いくつかの正解がある。
robots.txtを設置しない
robots.txt自体をサーバーに置かない。
注意点として、robots.txtにアクセスしたときには404のステータスコードを返すこと。もし500番台のステータスコードを返し、その状態が長く続くとインデックスから消えることがある。
robots.txtに何も書かない
空っぽのrobots.txtをサーバーに置く。
命令が何も書かれていないので、検索エンジンはすべてのURLをクロールする。
Disallow: だけを記述する
次のように記述したrobots.txtをサーバーに置く。
Use-Agent: *
Disallow:拒否するURLを何も指定していないので、検索エンジンはすべてのURLをクロールする。注意点として、Disallow: / にしては絶対にいけない。これはすべてのURLのクロールを拒否する命令になる。
Allow: / だけを記述する
次のように記述したrobots.txtをサーバーに置く。
Use-Agent: *
Allow: /すべてのURLへのクロールを許可する内容になる。
これらのどれを採用しても構わない（ただし注意点には気を付けること）。検索エンジンの処理に差異はない。
SEOコンサルタントのまとめ
「robots.txt」についての勉強になりますね。
