特殊なファイルのクロールをrobots.txtでブロックすべき？

特殊なファイルをrobots.txtでブロックすべきか？

特殊なファイルのクロールをrobots.txtでブロックすべきかどうかという質問にグーグルのジョン・ミューラー氏が動画で回答した。

●*.css（CSSファイル全般）
●php.ini
●.htaccess

Googlebotのクロールをブロックするとしたら次のような記述になるだろう。

User-agent:Googlebot
Disallow: *.css$
Disallow:php.ini$
Disallow:.htaccess$

しかし、このとおりに記載するべきではない。

というのも、原則的にCSSはブロックしてはいけないからだ。GooglebotがCSSにアクセスできないとそのページを正しくレンダリングできない。ランキングに悪影響が出る可能性がある。
一方で、php.iniと.htaccessはブロックする必要はない。そもそもこれらのファイルは外部からのアクセスが禁止されている。robots.txtでブロックしていようがしていまいが、もともとGooglebotはアクセスできないはずだ。

Special files in robots.txt #AskGoogleWebmasters

SEOコンサルタントのまとめ

基本的にCSSはブロックしてはいけないのだそうです。