robots.txtをエラー状態にするとインデックスが削除されてしまうという怖～いお話
今日はrobots.txtのエラーでWebサイトのインデックスが消えてしまった、という怖い事例を紹介します。
いつも通りsitemap.xmlとrobots.txtを設置したつもりが・・・
発端は日課となっているWEBサイトの修正作業での私の確認ミスでした。恥をしのんでお話しします。
私の会社ではお客様にSEOをご依頼いただいた際、まずURLの正規化やsitemap.xml＆robots.txtの設置を実施してしまいます。
その他のページも含めて内部的な修正を終え、お客様にご報告した後順位を見守ることにしました。最初の内は順調に伸びているな～、と思って安心していたのですが・・・
どーーーーーーーーーーーーん！！！
なんや！？いったい何がおこったと言うんや！？
もちろんお客様の方が動揺しているご様子。しかし、そこはプロ。まずは「site:」コマンドを確認すると、あれ！？TOPページ（上位表示を狙ったページでもあります）のインデックスだけが無いではありませんか。
こんな現象は見たことないぞ・・・「必ず解決して見せます」と意気込んで見せたものの、何しろ自分で修正しているサイトです。自らの慢心も手伝って、恥ずかしながらすぐに問題を特定することができませんでした。
基本に返ってウェブマスターツールを確認する
大幅な順位下落の際は慌てず騒がずウェブマスターツールをチェックと決まっています。
すると・・・
やや、ウェブマスターツールのTOPページに警告が表示されています！あわててダッシュボードに行くと・・・
robots.txtのエラー？？はて？？
robots.txtへのアクセスが「Internal Server Error」だったことが原因
ブラウザからrobots.txtを見に行くと、「Internal Server Error」（HTTPステータスコード500）どうやらこのサーバー側の仕様で「.txt」形式のファイル設置を許可されていないようなんです。
これが原因でGoogleがインデックスを外していたようでした。
復活は早かった
とりあえずrobots.txtを削除して、念の為事の経緯を再審査リクエストで送信しました。結果・・・
わずか2日で元の水準まで順位が回復。これは推測ですが、Googlebotはインデックスを抹消した後もクロールにやってくるので、今回のケースでは再審査リクエストを送らないでも元に戻った可能性はありますね。
まとめと反省
今回の記事のまとめ＆自分の反省です。
- robots.txtへのアクセスが500エラーを返しているとTOPページのインデックスが外される
（「404 not found」はOK） - その場合ウェブマスターツールに警告が届く
- 問題が発生してもrobots.txtを削除すれば2・3日で復活する
リカバリーに成功したとはいえ今回の一件ではお客様にはご迷惑をおかけしてしまい、大変申し訳なく思っております。
これからはサーバーに新しいファイルを設置したら必ずURLを叩いて確認するようにします。そもそもこれは基本中の基本ですね。
というわけで今回は私のお恥ずかしい失敗から発覚したGoogleアルゴリズムのご紹介でございました。
2011年11月15日追記
@pacificusさんからの情報です。この現象、過去に鈴木謙一さんのブログやWeb担当者Forumの連載でも紹介されていたようです。
クローラをブロック“しない”時のrobots.txtの設定（海外SEO情報ブログ）
記事によると以下のようなケースでランキングのダウンや今回のようなインデックス削除のリスクがあるとのこと。
- robots.txtがHTTPステータスコード500を返しちゃダメ
- 別のページへリダイレクト（301、302）しちゃダメ
- ファイアウォールでブロックしちゃダメ
- もちろんsitemap.xmlも同じ
ということで、robots.txtへのアクセスが返して良いステータスコードは200（正常）もしくは404 or 410（設置しない）のみ、でございます。
例えば「存在しないURLへのアクセスを全てTOPページにリダイレクトしている」サイトを時々見かけますが、こういったサイトがrobots.txtを設置していない場合は「2」に該当しています。急いでrobots.txtを置くか、できればサイト仕様を変更（404エラーページの設定）した方がいいですね。
みなさんご注意ください。
COMMENTS
皆様のコメントをお待ちしております。
ご意見・ご感想はTwitter、Facebook、Googleプラスからもどうぞ。