SEOコンサルタントの運営するSEO最新情報・SEOのサイトです。SEO最新情報、SEO業者の紹介など。運営者はSEOコンサルタント・白石竜次(「世界一わかりやすいSEO対策 最初に読む本(技術評論社)」他)です。お気軽にお問合せください。

SEOコンサルタント.com

429と503のHTTPステータスコードはいずれインデックスから削除される

投稿日:

429と503のHTTPステータスコードはいずれインデックスから削除される

サイトが長い間503や429のHTTPステータスコードを返すとインデックス削除につながる

Webプッシュ通知、人気サイト以外では9割が拒否反応という無惨な統計データ【SEO情報まとめ】[Web担当者Forum]

■Google Gary Illyes(ゲイリー・イリーシュ)氏(@methode)

『面白い事実: 429と503のHTTPステータスコードはクロール頻度を下げる。しかし、長期間にわたってそうしたステータスコードを返し続けると、いずれインデックスから削除されてしまうだろう。』

HTTPステータスコードとは、サイト訪問者(ブラウザやクローラー)にWebサーバーが返す応答の番号だ。代表的なHTTPステータスコードとしては、たとえば次のようなものがある。

●200 ―― OK
●301 ―― 別の場所に(永久に)移りました
●302 ―― 別の場所に(一時的に)移りました
●403 ―― アクセス禁止
●404 ―― みつかりません
今回、イリェーシュ氏が言及している「429」と「503」のコードは、次のような意味のものだ。

●429 ―― あなたは短期間で大量にアクセスしすぎです
●503 ―― サーバー側の都合でアクセスに応えられません

429は“Too Many Requests”を意味するとのことで、一定期間に一定回数以上アクセスした相手に、サーバーが応答の継続を拒否する目的で使われるようだ(503と同様に、Retry-Afterヘッダーで再リクエストまでの待機時間を指定できる)。503とは異なりサーバーに問題があるわけではなく、「60秒に100アクセスまで」のように限定する用途を想定している(「Rate Limiting」と呼ばれる)。

503にしても429にしても、その時点でGooglebotが一時的にアクセスできないだけの状態で、インデックスには変更は加えられない。ただしクロール頻度は減る。しばらくしたのち、再びクロールを試みて問題がなければ、クロール頻度は元に戻るだろう。

ところが、一時的ではなく1週間も2週間も429や503が返ってきてアクセス不可能な状態が続くと、最終的にはインデックスから消えてしまうことがある。いつまでたっても復帰しないページを検索結果に出しておくとユーザー体験を損ねるからだ。

SEOコンサルタントのまとめ

「503」か~なんと思っているとたいへん!

  • B!