複数サイト管理者に朗報： robots.txtはリダイレクトでまとめて管理できる

X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）[Web担当者Forum]

複数のサイトで同一内容のrobots.txtを集中管理する方法を、グーグルのゲイリー・イリース氏がリンクトインに投稿した。

やり方はシンプルだ。次のような環境だったとする：

・管理サイトに置くrobots.txtのURL： https://www.example.com/robots.txt
・CDNに置くrobots.txtのURL： https://cdn.example.com/robots.txt

この場合、https://www.example.com/robots.txt を https://cdn.example.com/robots.txt にリダイレクトするだけでいいのだそうだ。リダイレクトするだけで https://cdn.example.com/robots.txt を https://www.example.com の robots.txt として検索エンジンは処理するとのことだ。

SEOに有利に働くわけではないが、内容が同じなのであれば、どこか1つのサイトに置いたrobots.txtで複数のサイトのrobots.txtを管理できる利点がある。多くのサイトを管理しているウェブ担当者には役立つ小技かもしれない。