PR




【広告】おすすめのSEO会社

SEO

robots.txtの書き方…「全URLをクロールOKにするにはどう書く?」

投稿日:

王道はコンテンツSEO

robots.txtの書き方…「全URLをクロールOKにするにはどう書く?」

robots.txtの書き方クイズ: 全URLをクロールOKにするにはどう書く?

クロールを拒否するURLがない(全URLをクロール対象とする)場合、robots.txt はどのようにすればいいのだろうか?

いくつかの正解がある。

robots.txtを設置しない

robots.txt自体をサーバーに置かない。

注意点として、robots.txtにアクセスしたときには404のステータスコードを返すこと。もし500番台のステータスコードを返し、その状態が長く続くとインデックスから消えることがある。

robots.txtに何も書かない

空っぽのrobots.txtをサーバーに置く。

命令が何も書かれていないので、検索エンジンはすべてのURLをクロールする。

Disallow: だけを記述する

次のように記述したrobots.txtをサーバーに置く。

Use-Agent: *
Disallow:

拒否するURLを何も指定していないので、検索エンジンはすべてのURLをクロールする。注意点として、Disallow: / にしては絶対にいけない。これはすべてのURLのクロールを拒否する命令になる。

Allow: / だけを記述する

次のように記述したrobots.txtをサーバーに置く。

Use-Agent: *
Allow: /

すべてのURLへのクロールを許可する内容になる。

これらのどれを採用しても構わない(ただし注意点には気を付けること)。検索エンジンの処理に差異はない。

SEOコンサルタントのまとめ

「robots.txt」についての勉強になりますね。

[広告]おすすめ記事

Youtubeチャンネル

記事執筆/サイト管理者

記事執筆/サイト運営者


名前:白石竜次 Shiraishi Ryuji
肩書:SEOコンサルタント
高校卒業後、調理師を経て数々の職業を経験し、その後IT企業でHTMLおよびSEO対策を学ぶ。
その経験を知識を生かしながら各企業でSEO担当者となりインハウスSEOを行う。
現在ではフリーで様々な企業のSEOコンサルティングを行っている。
2011年11月 「SEO対策<検索上位にヒットする>コレだけ!技(技術評論社)」を出版。
2014年1月「世界一わかりやすいSEO対策 最初に読む本(技術評論社)」を出版。
2014年1月「たった30分でできるSEO検索エンジン最適化(秀和システム)」を出版。
2017年 書籍「DeNAと万引きメディアの大罪(宝島社)」に寄稿。


ストアカ

白石 竜次

元お笑い芸人の初心者・中小企業向けSEOセミナー

SEOコンサルタント問い合わせ

・SEOコンサルのご依頼
・SEOや誹謗中傷対策のご相談
・講演会・セミナーのご依頼

SEOコンサルタント問い合わせ

SEO漫画「ウェブマブ!」

-SEO

Copyright© SEOコンサルタント.com-SEO最新情報サイト , 2020 All Rights Reserved.

//記事ページのみに構造化データを出力 //サムネイルを取得 //ここから構造化データの記述