世界中の人々からの洞察がどのようにGoogle検索を改善するか

【Google翻訳】
あなたが行うすべてのGoogle検索は、その日に受け取った数十億の1つです。 私たちのシステムは、0.5秒もかからずに、数千億のWebページをソートして、最も関連性があり役立つ結果を見つけようとします。

ウェブや人々の情報ニーズは変化し続けているため、Googleは検索アルゴリズムに多くの改善を加えて対応しています。 実際、年間数千。 また、新しい機能であろうと、検索に新しい言語理解機能を導入しようと、結果をより役立つものにするために、常に新しい方法に取り組んでいます。

私たちが行った改善は、世界中の人々が探しているものすべてにGoogleが引き続き役立つように設計された評価プロセスを経ています。 ここでは、世界中の人々からの洞察とフィードバックが検索を改善するいくつかの方法を示します。

私たちの研究チーム

Googleが検索に加える変更は、人々が有用な情報を見つけやすくすることを目的としていますが、彼らの興味、彼らが話す言語、そして彼らが世界のどこにいるかによって、異なる人々は異なる情報ニーズを持っています。 情報に世界中の人々がアクセスできて使えるようにすることが私たちの使命であり、その目標を達成するためにすべてのユーザーにサービスを提供することをお約束します。

これが、検索がいかに役立つかを理解するために世界中の人々と話をすることを仕事とする研究チームがいる理由です。 私たちは、プロジェクトのさまざまな反復についてフィードバックを提供するように人々を招待し、さまざまなコミュニティの人々がオンラインで情報にアクセスする方法を理解するためにフィールド調査を行います。

たとえば、新興市場の人々がオンラインで情報にアクセスする際の固有のニーズと技術的な制限について長年にわたって学びました。 そこで、Google Goを開発しました。これは、強力ではない携帯電話や信頼性の低い接続でうまく機能する軽量の検索アプリです。 Google Goでは、Webページを大声で聞くことができるなど、独自の便利な機能も導入しました。これは、新しい言語を習得している人や長いテキストを読むのが苦手な人に特に役立ちます。 これらの機能は、最終的にそれらを使用する人々からの洞察なしには不可能です。

検索品質評価者

私たちの評価プロセスの重要な部分は、ランキングシステムと提案された改善がうまく機能しているかどうかについて、日常のユーザーからフィードバックを得ることです。 しかし、「うまく機能している」とはどういう意味ですか？ 当社のシステムが優れたコンテンツをどのように表示するかを非常に詳細に説明する、公開されている評価者ガイドラインを公開しています。 これらのガイドラインは160ページを超える長さですが、フレーズに要約する必要がある場合、検索は利用可能な最も信頼できるソースから関連性の高い結果を返すように設計されていると言いたいです。

Googleのシステムは、検索結果の単語がウェブページに表示される場所や、ページがウェブ上で相互にリンクする方法など、ウェブ自体からの信号を使用して、クエリに関連する情報と、人々が信頼する傾向のある情報かどうかを理解します。 しかし、関連性と信頼性の概念は最終的に人間の判断なので、システムが実際にこれらを正しく理解しているかどうかを測定するには、人々から洞察を収集する必要があります。

これを行うには、世界中に「検索品質評価者」と呼ばれる10,000人以上のグループがあります。 評価者は、人々が私たちの結果を経験する可能性が高い方法を測定するのに役立ちます。 彼らは私たちのガイドラインに基づいて評価を提供し、彼らのロケールを表すために彼らの最良の判断を使用して、実際のユーザーと彼らのありそうな情報ニーズを表します。 これらの人々は彼らが評価を提供し始める前に私達の評価者ガイドラインで勉強し、テストされます。

評価のしくみ

評価者タスクの仕組みは次のとおりです。クエリのサンプル（たとえば、数百）を生成します。 評価者のグループにこのクエリのセットが割り当てられ、それらの検索の結果ページの2つのバージョンが表示されます。 1セットの結果は現在のバージョンのGoogleからのもので、もう1セットは私たちが検討している改善によるものです。

評価者は、結果セットにリストされているすべてのページを確認し、評価者のガイドラインに基づいて、クエリに対してそのページを評価します。 彼らは、そのクエリが求めていたものに対する理解に基づいて、それらのページが情報のニーズを満たすかどうかを評価し、そのソースがクエリのトピックにどの程度信頼できると思われるかなどを考慮します。 専門知識、信頼性、信頼性（「E-A-T」と呼ばれることもあります）などを評価するために、評価者は情報源についての評判調査を行うよう求められます。

実際の様子は次のとおりです。サンプルクエリが「キャロットケーキのレシピ」だとします。 結果セットには、レシピサイト、食品雑誌、食品ブランド、そしておそらくブログの記事が含まれる場合があります。 評価者は、ウェブページが情報のニーズを満たしているかどうかを判断するために、調理手順の理解のしやすさ、視覚的な説明や画像の点でレシピがどれほど役立つか、ショッピングなど、サイトに他の便利な機能があるかどうかを検討します。 レシピを倍にするためのリスト作成者または計算機。

著者が主題に関する専門知識を持っているかどうかを理解するために、評価者はオンラインの調査を行って、著者が料理の資格を持っているか、他の食品ウェブサイトでプロファイリングまたは参照されているか、または肯定的なレビューや評価を獲得した他の優れたコンテンツを作成しているかを確認します レシピサイト。 基本的に、彼らは次のような質問に答えるために掘り下げます：このページは信頼できますか？それは評判の良いサイトや作者からのものですか？

評価は検索ランキングに直接使用されません

評価者がこの調査を行ったら、各ページに品質評価を提供します。 この評価は、このページまたはサイトが検索でどのようにランク付けされるかに直接影響しないことに注意することが重要です。 与えられた情報源が「信頼できる」または「信頼できる」とは誰も決めていません。 特に、ページにランク付けする方法を決定する方法として、ページにはレーティングが割り当てられていません。 確かに、それは不可能な作業であり、私たちが使用する信号としては不十分です。 何千億ものページが常に変化しているため、人間がすべてのページを繰り返し評価することはできません。

代わりに、評価はデータポイントであり、総合すると、システムがどのようにうまく機能して、国中および世界中の人々が情報を評価するかに合わせた優れたコンテンツを提供するのに役立ちます。

昨年だけでも、383,605件を超える検索品質テストと62,937件を超える検索品質評価者との実験を行い、結果の品質を測定し、3,600件を超える検索アルゴリズムの改善を支援しました。

製品内実験

私たちの調査と評価者のフィードバックは、改善を行うときに使用する唯一のフィードバックではありません。また、新機能が検索で実際に利用可能になり、人々が実際にそうであるようにそれを使用しているときに、新機能がどのように機能するかを理解する必要もあります。これらの洞察を確実に得ることができるように、私たちは実際の実験を通じて人々が新機能とどのように相互作用するかをテストします。

現在のバージョンの検索を使用しているランダムに選択された少数のユーザーが実際に利用できるため、「ライブ」実験と呼ばれています。変更をテストするために、取得したすべてのクエリのごく一部に対して機能を起動し、さまざまなメトリックを調べて影響を測定します。

新しい機能をクリックまたはタップしましたか？ほとんどの人は単にそれを通り過ぎましたか？ページの読み込みが遅くなりましたか？これらの洞察は、新機能または変更が役立つかどうか、そして人々が実際にそれを使用するかどうかについてかなり理解するのに役立ちます。

2019年には、1万7,000を超えるライブトラフィックテストを実施して、検索の新機能と改善点をテストしました。これを実際に発生した起動の数（約3600回、覚えていますか？）と比較すると、最善かつ最も有用な改善だけが検索に組み込まれていることがわかります。

常に改善

私たちの検索結果は完璧になることはありませんが、これらの研究と評価のプロセスは過去20年間で非常に効果的であることが証明されています。 これにより、私たちは頻繁に改善を行い、その変更が世界中の人々が情報を検索するために必要とすることを確実にすることができます。

Google検索の品質評価者はどのようにして🥕E-A-T🍰を評価しているのか？

調査対象のクエリとして [carrot cake]（キャロットケーキ）が与えられたと仮定した場合、検索結果に出てきたウェブページの E-A-T を品質評価者がどのようにして査定するかをサリヴァン氏は例に挙げています。

検索結果には次のようなサイトのページが含まれているかもしれません。

・レシピサイト
・食べものの情報サイト
・食品メーカー
・個人ブログ
探している情報のニーズをウェブページが満たすかどうかを決定するために、評価者は次のようなことを考慮する場合があります。

・調理の手順がどの程度わかりやすいか
・視覚的な手順説明と写真やイラストなど画像の観点からどのくらい役に立つか
・購入リストや人数を増やしたときに（材料の量を）計算する機能のような、そのほかにも役立にたつ特徴や特徴がサイトにあるか

コンテンツ作成者がそのテーマに関する専門知識があるかどうかを理解するために、オンラインでたとえば次のようなことを調査します。

料理の資格を持っているか、料理の経歴があるか
ほかの食べもの関連サイトでも登場していたり紹介されていたりするか
レシピサイトで高評価を得ているすばらしいコンテンツをほかに作成しているか
評価者はさらに深堀りして次のようなことについても問いかけることもあります。

このページは信頼できるか
評判が良いサイト、著者にあるページか

Google金谷氏

Search Quality Raters について詳しく解説したブログ記事が公開されました。英語となりますが、検索結果の改善にどのように関わっいるか、詳しく解説してあります。ぜひ。 https://t.co/Tzqzev0r7z

— 金谷 武明 ★ Takeaki Kanaya (@jumpingknee) August 4, 2020

SEO専門家

検索品質評価についてGoogleが解説したブログが公開https://t.co/JVKLg7sNXC

Google検索の改善は調査研究、品質評価、ライブテストの３つの方法によって行われているとのことです。
このうちブログ内では特に品質評価について詳しく解説されています。

— 【SEO研究所】サクラサクラボ (@sakurasakulabo) August 4, 2020

検索のランク付けはシステムによって行うが、関連性や信頼性は最終的には人間が判断するものということから、評価者によって評価を行っているとのことです。
??評判調査
??情報ニーズを満たしているか
??専門知識があるかどうか

— 【SEO研究所】サクラサクラボ (@sakurasakulabo) August 4, 2020

検索品質評価はテスト対象の信頼性や権威性を決定するために行っているわけではなく、Google検索がうまく機能しているかを測るために行っている。

これらの結果として、昨年には3600以上のアルゴリズム改善が行われたとのことです。

— 【SEO研究所】サクラサクラボ (@sakurasakulabo) August 4, 2020

SEOコンサルタントのまとめ

Googleダニー・サリヴァン氏のキャロットケーキの例ですと、私は調理師免許を持っていて10店以上の店で10年以上料理の仕事を経験しているので、私の書く記事はかなり「E-A-T 」がたかいはずですね（笑）