【テクニカルSEO】Webサーバーの生ログ解析について

テクニカルSEOにおいては「生ログ解析」が有効、という記事です。

辻正浩氏のコメント

激しいサイトのテクニカルSEOには生ログ分析、という話は海外ではよく言われる https://t.co/lMjGwBqrMd ようですが、日本では話題になりませんね。私も昔からやってましたが、Googlebotログ分析ならTableauが一番楽だと思いますね。仮説を出して確認、が直感的に出来ます。

— 辻正浩 | Masahiro Tsuji (@tsuj) 2018年4月9日

テクニカルSEOに効く! Webサーバーの生ログ解析

テクニカルSEOに効く! Webサーバーの生ログ解析は知っておいて損はない（基礎編）[Web担当者Forum]

テクニカルSEOに効く「生ログ解析」を、あなたは知っているだろうか。クローラの挙動を把握して、よりサイトを効率良くクロールしてもらったり、エラーを見つけたり、クロールバジェットを把握したり――そうしたことをするには、Webサーバーが保存するログファイルを解析するしかない。
（Web担当者Forum　より）

自社のテクニカルSEOやオンページSEOが貧弱なら、Webサイトの生ログより重要なものはないと言ってもいい。テクニカルSEOは、検索エンジンにWebサイトをクロール・解析・インデックス化してもらい、マーケティング活動が始まる時点ではすでに適切な検索順位がついているようにするための要となる。
何よりも覚えておいてほしいのは、検索エンジンがWebサイトをどのようにクロールしているかについて、唯一、100％正確なデータを提供してくれるのが生ログファイルだということだ。
グーグルがクロールしやすいように手助けすることで、その後のSEO活動の舞台を整え仕事を円滑に進められる。
生ログ解析はテクニカルSEOの1つの側面であり、ログで見つかる問題を修正すれば、検索順位を引き上げてトラフィックを増やし、コンバージョンや売り上げを伸ばす助けになる。
生ログ解析を行う理由のいくつか（ほんの一部だが）を示しておこう。

★サイトがエラーをあまりに多く返していると、Webサイトのクロール頻度をグーグルが減らす可能性があり、さらには順位の低下につながりかねない。

★検索エンジンに新旧すべてのページをクロールさせて、（何よりも）検索結果ページに表示される順位を獲得したい。

★すべてのURLリダイレクトで、受け取った「リンクジュース」を確実に次に渡すことが肝要だ。
（Web担当者Forum　より）

生ログファイルとは？

コンピュータサーバーや、オペレーティングシステム、ネットワーク機器、コンピュータアプリケーションは、何らかのアクションを実行すると常にログエントリ（記録）と呼ばれるものを自動で生成し、どこかに保存する。何が起きたのかをあとから管理者が確認できるようにするためだ。

SEOやデジタルマーケティングにおいては、ボットや人間が訪れてページのデータを取得しようとすることも、サーバーから見ればアクションの1つだ。

（Web担当者Forum　より）

▼各情報の説明については元記事を参照ください。

ログ解析とは？

ログ解析（またはログアナリティクス）とは、生ログファイルを調べて、データから何らかを学びとるプロセスだ。
（Web担当者Forum　より）

▼各情報の説明については元記事を参照ください。

Webサーバーの生ログ解析

テクニカルSEOに効く! Webサーバーの生ログ解析は知っておいて損はない（解析編）[Web担当者Forum]

一般に、SEOなどでの生ログ解析を簡単にするには、次の3つの方法がある。
★Excelでがんばる
★SplunkやSumo Logicなどの商用ソフトウェアを使う
★オープンソースソフトウェアのELK Stackを使う
（Web担当者Forum　より）

ログデータで何を調べるのか？

■ボットのクロールボリューム
・・・Googlebotやその他検索エンジンのクローラーから送られるリクエスト数を確認

■レスポンスコードのエラー
・・・各エラー（「5XX」など）を確認

■一時的リダイレクト
・・・「302リダイレクト」は一時的なリダイレクトなのでリンク効果（リンクジュース）を渡さないので注意。
▼資料：リダイレクトについて
https://moz.com/learn/seo/redirection

■クロールバジェットの無駄遣い
・・・「クロールバジェット」とはサイトをどのくらいクロールするかの割振り。
無駄なページや広告でクロールバジェットで消費されていないか確認

■重複するURLへのクロール
・・・URLパラメータで無駄にクロールバジェットで消費されていないか確認
▼資料：URLパラメータページでパラメータを分類する

■クロールの優先順位
・・・どのURLやディレクトリがGoogleに注目されているか確認
▼資料：XMLサイトマップ利用のガイドライン

▼資料：サイトマップとは何ですか。

サイトマップを使うと、ウェブマスターはサイト内のクロールされるページを検索エンジンに簡単に知らせることができます。サイトマップは、最終アップロード日、通常の更新頻度、サイト内の他の URL との相対的な URL 優先度など、各 URL の詳細メタデータのほか、サイトの URL がリストされている簡単な形式の XML ファイルであるため、検索エンジンでより正確にサイトをクロールできます。
通常、ウェブクローラは、サイト内のリンクや他のサイトからのリンクを基にページを検出します。サイトマップはこのデータを補足するもので、サイトマップをサポートしているクローラがサイトマップ内のすべての URL を取得し、関連付けられているメタデータを使用して、URL に関する詳細情報を把握できるようにします。サイトマッププロトコルを使用しても、検索エンジンにウェブページが必ず登録されるとは限りませんが、ウェブクローラがサイトを正確にクロールするうえで役立ちます。
サイトマップ 0.90 はアトリビューションシェアアライククリエイティブコモンズライセンスの利用条件のもとで提供されており、Google、Yahoo!、Microsoft を含む企業で幅広くサポートされます。
（sitemaps.org 　より）

■最終クロール日
・・・Googleがクロールした日を確認。

■クロールバジェット
・・・Googlebotの動きを確認。