SEOコンサルタントの運営するSEO最新情報・SEOのサイトです。SEO最新情報、SEO業者の紹介など。運営者はSEOコンサルタント・白石竜次(「世界一わかりやすいSEO対策 最初に読む本(技術評論社)」他)です。お気軽にお問合せください。

SEOコンサルタント.com

Google「Noindexタグを表示するためにページをクロールすることを許可した後、ページを再ブロックしないでください」

投稿日:

Google:Noindexタグを表示するためにページをクロールすることを許可した後、ページを再ブロックしないでください

【Google翻訳】
GoogleのGaryIllyesは、Googleがそのページのnoindexタグを表示できるように、ページのクロールを許可した後、ページを再ブロックまたは再禁止することは「ばかげた考え」だと述べました。 この話のタイトルをお詫びします。書くのが大変でした。

これは、GaryがPSAを投稿して、「robotstxtに従うクローラーは、ページのクロールが許可されていない場合、ページにnoindexディレクティブが表示されないことを定期的に通知する」と述べたときに発生しました。 その後、Patrick Stoxは、「この状況でSEOコミュニティで人気のある推奨事項は、ブロックを解除し、ページをクロールしてから、再度ブロックすることです。私には、それは意味がありません。 。あなたはあなたが始めたところに行き着きます。」

ゲイリーはパトリックに同意し、「ページがクロールされたら、ページを再度禁止するつもりはない」と述べました。 彼は「それはばかげた考えのように聞こえる」と付け加えた。

全体的に私は正直に混乱します、私は論理を理解していません、つまり、私は一種のことをしますが、目的は何ですか? 最終結果はそれほど異なりますか?

SEOは、robots.txtを介したクロールをブロックするようにページを設定しました。Googleはそのページのインデックスを作成せず、ページのインデックスを解除しません。 ただし、ページにnoindexタグを設定し、Googlebotがそのページをクロールすることを一時的に許可して、Googleがそのnoindexタグを取得できるようにし、Googleがそのタグを取得した後、disallowディレクティブを元に戻します。 どうして? これを行うと、最終的に同じ状態に戻ります。その後、プロセスを繰り返すために、これをもう一度やり直す必要があります。

ツイートは次のとおりです。
■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
robotstxtに従うクローラーは、ページのクロールが許可されていない場合、ページにnoindexディレクティブが表示されないことを定期的に通知します。
https://reddit.com/r/TechSEO/comments/mcc98l/googles_unusual_handling_of_robots_noindex/によって促され、@ patrickstoxによって回答されました

ちょっとゲイリー、私たちがトピックに取り組んでいるので、私が誤解だと思うものを片付けることができますか。 この状況でのSEOコミュニティでの一般的な推奨事項は、ブロックを解除し、ページをクロールさせてから、再度ブロックすることです。 私には、それは意味がありません。 あなたはあなたが始めたところに行き着きます。

ええ、一度クロールされたページを再度禁止するつもりはありません。 それはばかげた考えのように聞こえます

Twitterでのフォーラムディスカッション。

更新:これに疑問を呈する人もいますが、これはそれを説明するのに役立つので、ここにそれらの質問があります:

これが大規模なクロール予算を消費する問題である場合、それほど愚かな考えではありません。 URLが誤ってインデックスに登録できなかった場合、noindexを使用してインデックスを解除し、robots.txtでクロールの無駄を防ぐことは、完全にマークから外れていない限り、適切なアプローチのように思われますか?

私は同じだと思います…最終的にインデックスが解除された場合、なぜGoogleにそれらのクロールに時間を費やさせ続ける必要があるのでしょうか。

パトリックの反応は次のとおりです。

次に、それらをブロックしたままにします。 これらはあなたの州/結果です。
1 =ブロック、noindex =インデックスに登録されたページ
2 =ブロック解除noindex = noindex
3 =ブロックされた(再び)noindex = 1。なぜ元に戻すのですか? ページは再びインデックスに登録されます。

SEOコンサルタントのまとめ

Google ゲイリー・イリーシュ氏
「一度クロールされたページを再度禁止するつもりはありません。 それはばかげた考えのように聞こえます」

  • B!