GoogleBotはNutchを使用しません
【Google翻訳】
Britney Mullerは、サイトをクロールしているときに、GoogleBotユーザーエージェント名でApacheNutchを使用している人を見つけました。 Googleは、GoogleBotがユーザーエージェントでNutchを使用していないことを確認しました。 Nutchは、「高度に拡張可能でスケーラブルなオープンソースのWebクローラーソフトウェアプロジェクト」です。ブリトニーが投稿したものは次のとおりです。
Googlebot / Nutch-1.7は公式のGooglebotクローラーですか？
いくつかの混合情報をオンラインで見ていますか（おそらく大きなウェブサイトでは珍しい大きなクローラー）？??
IP DNSルックアップは、これらがgooglebot [dot] comまたはgoogle [dot] comプロパティからのものではないことを確認しますか？ cc：@JohnMu
ありがとう！
Is Googlebot/Nutch-1.7 an official Googlebot crawler?
Seeing some mixed info online (possibly a rarer large crawler for big websites)???
IP DNS Lookups confirm that these are not from googlebot[dot]com or google[dot]com properties? cc: @JohnMu
Thanks!
— Britney Muller (@BritneyMuller) October 1, 2020
GoogleのJohnMuellerは、Googleがnutchをまったく使用していないことを確認しました。
■Google JohnMueller(ジョン・ミューラー)氏(@JohnMu)
確認のために再確認しました:)。 検索や共有インフラストラクチャの他の用途に使用するGooglebotユーザーエージェントでは、「ナッチ」をまったく使用していません。I just double-checked to be sure :). We don't use "nutch" at all in any of the Googlebot user-agents we use for search or for the other uses of the shared infrastructure.
— ?? John ?? (@JohnMu) October 2, 2020
彼は、「検索や共有インフラストラクチャの他の用途に使用するGooglebotユーザーエージェントでは、「ナッチ」をまったく使用していません」と述べています。
したがって、これがGoogleBotで表示された場合、それは実際のGoogleBotではなく、問題が発生している場合はブロックできます。
