Gary Illyesから「GoogleクイズSEO」

Gary Illyes From GoogleクイズSEO

【Google翻訳】
Gary Illyes From GoogleクイズSEO

GoogleのGary Illyesが先日、TwitterにSEOに関するポップクイズを投稿しました。 世論調査の回答によると、SEOはGoogleが矛盾するrobots.txtファイルディレクティブをどのように処理するかという答えに分かれています。

ゲイリーは「これがクロールにどのように影響するか」と尋ねました。

User-agent: *
Disallow: /
Allow: /

彼は答えるときツールを使用しないようにしようと言った。

世論調査へのほぼ2,500の応答後の結果は、52％がすべてを許可しないことにつながると述べ、48％がすべてを許可することにつながると述べた。

結果は次のとおりです。

■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)

Try answering without the help of a tool. How will this affect crawling:

User-agent: *
Disallow: /
Allow: /

— Gary 鯨理／?? Illyes (@methode) July 2, 2020

元グーグルのペドロ・ディアス氏は順序が重要だと述べたが、現在のグーグルの社員は別の言い方をするかもしれないいくつかのメモを示した。

順序が重要

The order matters ??

— Pedro Dias (@pedrodias) July 2, 2020

次に、ペドロはツールを示しました：

Yes 🙂 pic.twitter.com/wG9KsXICq2

— Pedro Dias (@pedrodias) July 2, 2020

答えは明確である必要がありますか？

正直なところ、SEOがrobots.txtでこれを見つけた場合、彼らはそれをクリーンアップし、ディレクティブが明確であることを確認するだけです。 しかし、それは見るのが楽しい投票でした。

SEOの知識にクイズで挑戦！ あなたは正解できる？ robots.txt初級＋中級

Q1 このrobots.txtをクローラはどう解釈する？

User-agent: *
Disallow: /
Allow: /
選択肢1. クロールをすべて禁止
選択肢2. クロールをすべて許可

Q2 このrobots.txtをGooglebotはどう解釈する？

User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
選択肢1. Googlebotのクロールを許可
選択肢2. Googlebotのクロールを禁止

Q1の解説

同じパスに対して、同じユーザーエージェント名指定でDisallow（禁止）とAllow（許可）を指定している場合は、Allowが優先される（こちらを参照）。

Q1では「/」のパスが対象。

「User-agent: *」ですべてのユーザーエージェントを対象として、「Disallow」と「Allow」を指定している。

この場合、Allowと判断される。

Q2の解説

同じパスに対して、異なるユーザーエージェント名を指定してDisallow（禁止）とAllow（許可）を指定している場合は、合致する最も限定的なユーザーエージェントに対するルールが適用される（こちらを参照）。

Q2では「/」のパスが対象。

「User-agent: Googlebot」でGooglebotを対象に「Allow」を指定している。

「User-agent: *」ですべてのユーザーエージェントを対象に「Disallow」を指定している。

この場合、より限定的なGooglebotを対象とした指定が優先されるので、GooglebotはAllowと判断する。