Robots.txtによる許可されていないURLはクロールバジェットに影響しない

クロールバジェットについて。

Google：Robots.txtによる許可されていないURLはクロール予算に影響しません

Google: Disallowed URLs Through Robots.txt Does Not Affect Crawl Budget[Search Engine Roundtable]
【Google翻訳】

Google：Robots.txtによる許可されていないURLはクロール予算に影響しません

GoogleのGary Illyesが、2017年1月にウェブマスターのブログで公開したクロール予算の大きな記事に、新しい質問と回答を追加しました。 基本的には、robots.txtファイルでURLを許可しない場合、それらのURLはクロール予算に影響しません。

彼はこの質問と答えを追加しました：

Q：robots.txtを通じて許可されていないURLは、クロール予算に何らかの影響を与えますか。
A：いいえ、許可されていないURLはクロール予算に影響しません。

彼は昨夜、元GooglerのPierre FarのQ&Aを追加したと発表しました。

■Google Gary Illyes(ゲイリー・イリーシュ)氏
@pierrefarからの質問に基づいて、Crawl Budgetのブログ投稿を更新し、次の内容を追加しました。

Q：robots.txtを通じて許可されていないURLは、クロール予算に何らかの影響を与えますか。
A：いいえ、許可されていないURLはクロールの予算には影響しません。

Based on a question from @pierrefar , i just updated the Crawl Budget blog post to include the following:

Q: Do URLs I disallowed through robots.txt affect my crawl budget in any way?
A: No, disallowed URLs do not affect the crawl budget.https://t.co/kVYj6XaNn0

— Gary "鯨理" Illyes (@methode) 2019年6月21日

What Crawl Budget Means for Googlebot
https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html?m=1

もっと詳しく

「ここでは密集していることをお詫び申し上げますが、私たちが明確にしておくことを確認したいと思います。クロールの予算には何の影響も与えないと言っているのです。 クロールの予算を節約する」」
↓
『ああ。 面白い。 私はその行を逆に理解しているので、無駄なディレクトリを許可しないのであれば、クロール予算を取り戻すでしょう。』

Oh. Interesting. I understand that line the other way around, so if you disallow a useless directory, you will gain back crawl budget

— Gary "鯨理" Illyes (@methode) 2019年6月21日

SEOコンサルタントのまとめ