Google：Noindexタグを表示するためにページをクロールすることを許可した後、ページを再ブロックしないでください
【Google翻訳】
GoogleのGaryIllyesは、Googleがそのページのnoindexタグを表示できるように、ページのクロールを許可した後、ページを再ブロックまたは再禁止することは「ばかげた考え」だと述べました。 この話のタイトルをお詫びします。書くのが大変でした。これは、GaryがPSAを投稿して、「robotstxtに従うクローラーは、ページのクロールが許可されていない場合、ページにnoindexディレクティブが表示されないことを定期的に通知する」と述べたときに発生しました。 その後、Patrick Stoxは、「この状況でSEOコミュニティで人気のある推奨事項は、ブロックを解除し、ページをクロールしてから、再度ブロックすることです。私には、それは意味がありません。 。あなたはあなたが始めたところに行き着きます。」
ゲイリーはパトリックに同意し、「ページがクロールされたら、ページを再度禁止するつもりはない」と述べました。 彼は「それはばかげた考えのように聞こえる」と付け加えた。
全体的に私は正直に混乱します、私は論理を理解していません、つまり、私は一種のことをしますが、目的は何ですか？ 最終結果はそれほど異なりますか？
SEOは、robots.txtを介したクロールをブロックするようにページを設定しました。Googleはそのページのインデックスを作成せず、ページのインデックスを解除しません。 ただし、ページにnoindexタグを設定し、Googlebotがそのページをクロールすることを一時的に許可して、Googleがそのnoindexタグを取得できるようにし、Googleがそのタグを取得した後、disallowディレクティブを元に戻します。 どうして？ これを行うと、最終的に同じ状態に戻ります。その後、プロセスを繰り返すために、これをもう一度やり直す必要があります。
ツイートは次のとおりです。
■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
robotstxtに従うクローラーは、ページのクロールが許可されていない場合、ページにnoindexディレクティブが表示されないことを定期的に通知します。
https://reddit.com/r/TechSEO/comments/mcc98l/googles_unusual_handling_of_robots_noindex/によって促され、@ patrickstoxによって回答されましたyour periodic reminder that crawlers that obey robotstxt won't see a noindex directive on a page if said page is disallowed for crawling.
prompted by https://t.co/i7ouMoqNT6 which was answered by @patrickstox pic.twitter.com/98NLF2twz1
— Gary 鯨理／?? Illyes (@methode) March 25, 2021
ちょっとゲイリー、私たちがトピックに取り組んでいるので、私が誤解だと思うものを片付けることができますか。 この状況でのSEOコミュニティでの一般的な推奨事項は、ブロックを解除し、ページをクロールさせてから、再度ブロックすることです。 私には、それは意味がありません。 あなたはあなたが始めたところに行き着きます。
↓
ええ、一度クロールされたページを再度禁止するつもりはありません。 それはばかげた考えのように聞こえますyeah i wouldn't re-disallow the pages once they were crawled. that sounds like a silly idea
— Gary 鯨理／?? Illyes (@methode) March 25, 2021
Twitterでのフォーラムディスカッション。
更新：これに疑問を呈する人もいますが、これはそれを説明するのに役立つので、ここにそれらの質問があります：
これが大規模なクロール予算を消費する問題である場合、それほど愚かな考えではありません。 URLが誤ってインデックスに登録できなかった場合、noindexを使用してインデックスを解除し、robots.txtでクロールの無駄を防ぐことは、完全にマークから外れていない限り、適切なアプローチのように思われますか？
↓
私は同じだと思います…最終的にインデックスが解除された場合、なぜGoogleにそれらのクロールに時間を費やさせ続ける必要があるのでしょうか。I think the same… if finally they have been de-indexed, why we should let Google continue to spend time crawling them? 🧐
— Gianluca Fiorelli wears a 😷. Be like Gianluca (@gfiorelli1) March 26, 2021
パトリックの反応は次のとおりです。
次に、それらをブロックしたままにします。 これらはあなたの州/結果です。
1 =ブロック、noindex =インデックスに登録されたページ
2 =ブロック解除noindex = noindex
3 =ブロックされた（再び）noindex = 1。なぜ元に戻すのですか？ ページは再びインデックスに登録されます。Then just leave them blocked. These are your states/outcomes.
1 = blocked, noindex = pages indexed
2 = unblock noindex = noindex
3 = blocked (again) noindex = 1. Why switch back? Pages will get indexed again.— Patrick Stox (@patrickstox) March 26, 2021
SEOコンサルタントのまとめ
Google ゲイリー・イリーシュ氏
「一度クロールされたページを再度禁止するつもりはありません。 それはばかげた考えのように聞こえます」