GoogleとWordPressのRobots.txtの処理が見られる

GoogleとWordPressのRobots.txtの処理が見られる

【Google翻訳】
GoogleとWordPressのRobots.txtの処理が見られる

Google Webmaster Conferenceの重要な点の1つは、Googleがrobots.txtファイルにアクセスしようとしても到達できないが存在する場合、Googleはサイトをクロールしないということです。 Googleは、GoogleBotがrobots.txtファイルにアクセスできない時間の約26％を言いました。 WordPressは、このエラー率を減らすために変更を加える場合があります。

これに関する多くのツイートの1つを次に示します。

「マジ？ googlebotの4回に1回はサイトのrobots.txtにアクセスできませんか？ 🤯その後、サイト全体をクロールしません!! #gwcps」

Seriously? One out of four times googlebot cannot reach a site’s robots.txt? 🤯 then they won’t crawl the entire site!! #gwcps pic.twitter.com/wC49yC40zI

— Raffaele Asquer (@raffasquer) November 4, 2019

■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
「関連する質問をすることができます：robots.txtにアクセスできないサイトの場合、これらのWordPressサイトのサブセットですか？ おそらく通常予想されるよりも大きいサブセットですか？
WordPressがrobots.txtファイルを生成する方法について、より安全にする必要があるかどうかを把握しようとしています。」
↓
『WPは通常、ネットワークafaikを制御しないので問題ありません。robotstxtが5xxで戻ってきた場合、誰かが本当に悪い何かを誤って設定したに違いありません。 とはいえ、分析を実行してから、確実に言うことができます』

WP is usually fine i think as it doesn't control network afaik, and someone must've misconfigured something real bad if the robotstxt comes back with 5xx. That said, I'll run an analysis and then i can say for sure

— Gary "鯨理／경리" Illyes (@methode) November 6, 2019

「WPがrobots.txtを生成しないため、サーバーエラーが発生する可能性があるためです。 それが平均以上のエラーにつながる場合、静的なエラーのみを持つようにWPを変更できます。」
↓
『とった。 私は見てみましょう』

Got it. I'll look

— Gary "鯨理／경리" Illyes (@methode) November 6, 2019

GoogleとYoast（WordPressに非常に関係しています）間のこのダイアログが大好きです。

Twitterでのフォーラムディスカッション。

更新：私はゲイリーを再び動揺させました、そして記録のために、最新のインテルはGoogleが到達できないrobots.txtのパーセンテージでした。

■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)
「最新のインテル？！ 到達不能なrobotstxtが悪いと言ってきました。 ジョンと私は、2011年にまさにそのためのメッセージテンプレートを作成しました🤦‍♀️」
↓
「ええ、私は長い間知っています。 統計は興味深いものでしたが、数字がそれほど高いと聞いたことはありません。」

Yeah I've known for a long time. The stats were interesting though, never heard the numbers were that high.

— Joost de Valk (@jdevalk) November 6, 2019