GoogleはURLケースがRobots.txtディレクティブに適用されると言います
【Google翻訳】
Googleと同じように、同じURLを処理できますが、ケースが異なることで知られています。したがって、domain.com / Appleとdomain.com/appleはGoogleでは異なるURLと見なすことができます。しかし、robots.txtファイルに関しては、Googleはこのルールについてより厳格なようです。domain.com/Appleとdomain.com/appleを使用すると、Googleはページが同一であるかどうかを判断し、そのうちの1つへのURLを正規化するため、両方が検索に表示されず、Googleも信号を統合する可能性があります。
しかし、domain.com / apple用のrobots.txtディレクティブがあり、domain.com / Apple用ではない場合、GoogleはRobotsディレクティブを使用しない可能性がありますか？
GoogleのJohnMuellerが、URLの大文字と小文字の区別に関する動画を投稿し、1：08のマークで、「正確なURLが役割を果たすもう1つの場所はrobots.txtです。robots.txtファイルで、ウェブサイトのどの部分を使用すべきでないかを通知できます。 robots.txtファイルも正確なURLを使用しているため、あるバージョンのURLを参照するエントリがある場合、そのURLの他のバージョンには適用されません。」ジョンは、「これが問題を引き起こすことはめったにない」と付け加えました。
Are URLS case sensitive?
したがって、GoogleがURLを正規化する方法全体だけでなく、robots.txtの処理についてもこの点に注意してください。
