Google「Robot.txtの空白と許可の違いはありません」
Google:Robot.txtの空白と許可の違いはありません
【Google翻訳】
Google:Robot.txtの空白と許可の違いはありませんGoogleのJohn Mueller氏はRedditスレッドで、空のrobots.txtファイルを使用するか、そのファイルですべてを許可することを許可することは同じことであり、どちらを使用するかは関係ないと述べました。
彼は尋ねられたときに「関係ない」と言った違いはありますか? 私は常にDissallow:(空白)を使用しています。 ただし、現在のクライアントはAllow:/を使用しています。
彼は「問題ではない。次のようなコメントを使用することもできる」と言った。
#ここにはrobots.txtディレクティブはありません
私のサイトでrobots.txtファイルを使用することはほとんどありませんが、ご存知のように、できる限り他の人と共有したいです。 :P
robots.txtでサイトのセクションとURLをブロックするのには十分な理由がありますが、必要ない場合はブロックする必要はありません。