Google「パラメーターを使用してURLのインデックス作成をブロックするためにRobots.txtを使用しないでください」

Google：パラメーターを使用してURLのインデックス作成をブロックするためにRobots.txtを使用しないでください

【Google翻訳】
Google：パラメーターを使用してURLのインデックス作成をブロックするためにRobots.txtを使用しないでください

GoogleのJohn Mueller氏は、「robots.txtを使用してURLのパラメーター付きインデックス作成をブロックする」ことは絶対にすべきではないと述べました。 そうすると、Googleは「URLを正規化できず、それらのページへのリンクからすべての価値を失う」と彼は言った。 代わりに、rel-canonicalsを使用し、サイト全体で一貫してリンクします。

ジョンはツイッターでこれを言った。ここにツイートの埋め込みがある：

■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
「「robots.txtによってブロックされているにもかかわらず、インデックス付けされた」ページを持つWebサイトが増えています。 それを止める理由や方法についてのアイデアはありますか？ 主にパラメーター付きのURL。 #seo」
↓
『robots.txtを使用して、パラメーターを使用したURLのインデックス作成をブロックしないでください。 その場合、URLを正規化できず、これらのページへのリンクからすべての価値が失われます。 rel-canonicalを使用する、内部的にきれいにリンクするなど』

Don’t use robots.txt to block indexing of URLs with parameters. If you do that, we can’t canonicalize the URLs, and you lose all of the value from links to those pages. Use rel-canonical, link cleanly internally, etc.

— 🍌 John 🍌 (@JohnMu) November 8, 2019

その後、robots.txtでこれらのURLをブロックするのがなぜ悪いのかをフォローアップしました。

「回答と時間をありがとう。 問題は、eコマースWebサイトでは、フィルターは多くのパラメーターを意味するため、canonicalとrobots.txtの両方を使用して、大量のページでボットの時間を無駄にしないようにします。 間違った練習？」
↓
『robots.txtによってブロックされている場合、rel-canonicalは表示されないため、どちらかを選択します。 robots.txtを使用する場合、他のロボットページと同様に扱います（ページに何があるかはわかりませんので、コンテンツなしでURLにインデックスを付けることができます）。』

We wouldn’t see the rel-canonical if it’s blocked by robots.txt, so I’d pick either one or the other. If you do use robots.txt, we’ll treat them like other robotted pages (and we won’t know what’s on the page, so we might index the URL without content).

— 🍌 John 🍌 (@JohnMu) November 8, 2019