robots metaタグのfollowとindexは意味なしって知ってた？

<meta name="robots" content="index, follow">
このタグは、検索エンジンに次の指示をするものだ：

そのページのインデックスを許可（index）
ページからリンクしている先へのクロールを許可（follow）
一般的に検索エンジンは、拒否の指示がなければ既定でページをインデックスし、リンクもたどる（品質などの理由で、インデックスしなかったりクロールしなかったりすることはあるが、それは別の問題）。つまり、robots meta タグの index と follow は書く意味がないのだ（書かなくても書いても同じ）。

記述したからといってマイナスになることはないのでそのままでも悪い影響が起きることはないが、用をなさないことは知っておくべきだろう。

robots meta タグに関する小ネタをもう1つ紹介しておこう。次のように noindex と follow を同時に記述しても、実は follow の指示は効かない。

<meta name="robots" content="noindex, follow" >
これは、ページはインデックスしない（検索結果に表示しない）が、ページにあるリンクはクロールと評価の対象にしてほしいという命令だ。

そのページのインデックスを許可しない（noindex）
ページからリンクしている先へのクロールを許可（follow）
ところが、少なくともグーグルに限って言えば、noindexしたページにあるリンクをGooglebotはクロール対象にしない。ページをインデックスしないのだから、そこに書いているリンクも認識できず、クロールできないというわけだ。

SEOコンサルタントのまとめ

の記述
→は書かなくでもインデックスし、リンクもたどるので書かなくても同じことです。

の記述
→noindexしたページにあるリンクをGooglebotはクロール対象にしないので、リンクは認識されない。