米国からの不正アクセスを遮断する方法…「クローキング」とは？
Googleの「ウェブマスターオフィスアワー」2019年8月28日の内容です。
質問「米国からの不正アクセスを遮断する方法」
アメリカから不正アクセスを受けているのでアメリカからのアクセスを遮断したいと思います。
アメリカのアクセスを全て遮断してしまうとGooglebotのアクセスも遮断してしまうので、Googlebotを通る対応をする必要があると思いますが、ユーザーエージェントで判定するとクローキングに該当すると思います。
ウェブマスターのヘルプ記事を参考にIPでホワイトリストを作り制御しようと考えておりますがIP制御はクローキングにあたりますでしょうか？
アメリカのアクセスを全て遮断してしまうとGooglebotのアクセスも遮断してしまうので、Googlebotを通る対応をする必要があると思いますが、ユーザーエージェントで判定するとクローキングに該当すると思います。
ウェブマスターのヘルプ記事を参考にIPでホワイトリストを作り制御しようと考えておりますがIP制御はクローキングにあたりますでしょうか？
Google金谷氏の回答
■Google金谷氏
そもそも「クローキング」とは何か、という話から入ると
Googlebotに見せる情報、Googlebotがアクセスした時に見せる情報と、一般のユーザー、通常のブラウザがアクセスした情報が違う、とうのをクローキングと言って、
一般的なスパムの目的としては例えば通常は良いコンテンツであるようにクローラーに見せておいてユーザーが来ると全然違うサイトに誘導して、何か商品を買わせたりとか。詐欺的なものに使ったりですとか、そういった事があると。
こういったケースだと、そもそもの意図としては、ユーザーを騙すような意図がないので実際にこのクローキングをしてるという事が
例えば手動対策の対象になるかどうか。
段階があって、クローキングになるかどうかと言う話と手動対策の対象になるかどうかという話と、別の話としてあって。
そういう意味では、技術的には確かにクローキングにあたる可能性は凄く高いなと思います。
ただし、この目的に対して僕等が積極的に手動対策を取っていくかというと別の話でもあると思います。
ただGoogleとしては制御をIPアドレスを使ってする事は推奨はしていないので。
ですので海外のユーザーが来た時に、日本のユーザーが見た時にみないな所のユーザビリティみたいな時に。。
やっぱりクローラーに対して違う動きをするっていう事はあまり好ましい事ではないなと思います。
このケースに関しては僕らとしても「Aです」「Bです」は言いにくい。
やっぱり不正アクセスは海外から多いというのは凄くあると思うので、そういったものに対してどういうものがベストプラクティスでやれるかというのは提供していきたいものではあると思います。■Product Expert Gold の方
▼クローキングにあたっちゃうんじゃないかな…アメリカから日本人が検索した時引っかからない。でもGooglebotは見えてるけど海外からアクセスしてくる日本人には見えなくなっちゃうのでクローキングにあたるのではないかなという気がします。
▼クローキングって「違うコンテンツを見せる」ですよね。この場合はGooglebotには見せる、Googlebot以外のユーザーには見せない。これはクローキングですか？」
そもそも「クローキング」とは何か、という話から入ると
Googlebotに見せる情報、Googlebotがアクセスした時に見せる情報と、一般のユーザー、通常のブラウザがアクセスした情報が違う、とうのをクローキングと言って、
一般的なスパムの目的としては例えば通常は良いコンテンツであるようにクローラーに見せておいてユーザーが来ると全然違うサイトに誘導して、何か商品を買わせたりとか。詐欺的なものに使ったりですとか、そういった事があると。
こういったケースだと、そもそもの意図としては、ユーザーを騙すような意図がないので実際にこのクローキングをしてるという事が
例えば手動対策の対象になるかどうか。
段階があって、クローキングになるかどうかと言う話と手動対策の対象になるかどうかという話と、別の話としてあって。
そういう意味では、技術的には確かにクローキングにあたる可能性は凄く高いなと思います。
ただし、この目的に対して僕等が積極的に手動対策を取っていくかというと別の話でもあると思います。
ただGoogleとしては制御をIPアドレスを使ってする事は推奨はしていないので。
ですので海外のユーザーが来た時に、日本のユーザーが見た時にみないな所のユーザビリティみたいな時に。。
やっぱりクローラーに対して違う動きをするっていう事はあまり好ましい事ではないなと思います。
このケースに関しては僕らとしても「Aです」「Bです」は言いにくい。
やっぱり不正アクセスは海外から多いというのは凄くあると思うので、そういったものに対してどういうものがベストプラクティスでやれるかというのは提供していきたいものではあると思います。■Product Expert Gold の方
▼クローキングにあたっちゃうんじゃないかな…アメリカから日本人が検索した時引っかからない。でもGooglebotは見えてるけど海外からアクセスしてくる日本人には見えなくなっちゃうのでクローキングにあたるのではないかなという気がします。
▼クローキングって「違うコンテンツを見せる」ですよね。この場合はGooglebotには見せる、Googlebot以外のユーザーには見せない。これはクローキングですか？」
Japanese Webmaster Office Hours（ウェブマスター オフィスアワー 2019 年 8 月 28 日）
Japanese Webmaster Office Hours（ウェブマスター オフィスアワー 2019 年 8 月 28 日）
2019 年 8 月 の #ウェブマスターオフィスアワー、いつもと違って @piropiroanna とフォーラムの PE Gold のみなさんと実施しました！ご質問のタイトル一覧を追加しました。質問文については少し考えさせてください！色々試行錯誤してみます。次回は 9 月後半です！https://t.co/wk6Y5YqR6J pic.twitter.com/aRaPpscf4g
— 金谷 武明 Takeaki Kanaya (@jumpingknee) September 1, 2019
補足。ウェブマスターだけではなく、様々なフォーラムの Product Expert Gold のみなさんが参加されてます。ウェブマスター、ウェブ検索、マップ、Google マイビジネス、かな？みなさん、いつもありがとうございます！
— 金谷 武明 Takeaki Kanaya (@jumpingknee) September 1, 2019
SEOコンサルタントの感想
「クローキング」について勉強になりました。
Googlebotに見せる情報別の情報をユーザーに見せることですね。
話にあるように、偽物サイトとかがやる手口ですよね。