目次
429と503のHTTPステータスコードはいずれインデックスから削除される
サイトが長い間503や429のHTTPステータスコードを返すとインデックス削除につながる
Webプッシュ通知、人気サイト以外では9割が拒否反応という無惨な統計データ【SEO情報まとめ】[Web担当者Forum]
『面白い事実: 429と503のHTTPステータスコードはクロール頻度を下げる。しかし、長期間にわたってそうしたステータスコードを返し続けると、いずれインデックスから削除されてしまうだろう。』
Fun fact: serving 429/503 http status codes will slow down crawling, yes, but if you serve them for a longer period of time, they will remove the pages served with said codes from the index. pic.twitter.com/p4Wf6YD6SX
— Gary "鯨理／경리" Illyes (@methode) February 20, 2020
HTTPステータスコードとは、サイト訪問者（ブラウザやクローラー）にWebサーバーが返す応答の番号だ。代表的なHTTPステータスコードとしては、たとえば次のようなものがある。
●200 ―― OK
●301 ―― 別の場所に（永久に）移りました
●302 ―― 別の場所に（一時的に）移りました
●403 ―― アクセス禁止
●404 ―― みつかりません
今回、イリェーシュ氏が言及している「429」と「503」のコードは、次のような意味のものだ。●429 ―― あなたは短期間で大量にアクセスしすぎです
●503 ―― サーバー側の都合でアクセスに応えられません429は“Too Many Requests”を意味するとのことで、一定期間に一定回数以上アクセスした相手に、サーバーが応答の継続を拒否する目的で使われるようだ（503と同様に、Retry-Afterヘッダーで再リクエストまでの待機時間を指定できる）。503とは異なりサーバーに問題があるわけではなく、「60秒に100アクセスまで」のように限定する用途を想定している（「Rate Limiting」と呼ばれる）。
503にしても429にしても、その時点でGooglebotが一時的にアクセスできないだけの状態で、インデックスには変更は加えられない。ただしクロール頻度は減る。しばらくしたのち、再びクロールを試みて問題がなければ、クロール頻度は元に戻るだろう。
ところが、一時的ではなく1週間も2週間も429や503が返ってきてアクセス不可能な状態が続くと、最終的にはインデックスから消えてしまうことがある。いつまでたっても復帰しないページを検索結果に出しておくとユーザー体験を損ねるからだ。
SEOコンサルタントのまとめ
「503」か～なんと思っているとたいへん！
