September 14, 2006

robots.txtが認識されるまで

もったいないことだが、一部の階層においてGoogleなど検索エンジンのロボットにご遠慮いただくことに決めて約1ヶ月。借りているふたつのドメインのトップにファイルを設置しているのだが、ロボットたちは相変わらずやってくる。いったいいつ認識してくれるのかと、やきもきしながら過ごしてきた。

ふたつのドメインで管理しているゲーム「信じられない植物」(入り口はふにふに娯楽室)は、トップページなどはインデックス対象になる価値があるかもしれないが、たいていは似たり寄ったりのファイルばかりだ。それでもロボットたちは個々人のアルバムの細部など、とんでもない隅まで叩いて帰る。検索エンジンが通ったあとは一般ユーザが混雑で接続しにくくなっていることも推測できるため、排除を決めたというわけだ。

何か勘違いしているのかもしれないと、ネット上でのrobots.txtの解説をもう一度よく読んでみた。

ある人の書き方では、robots.txtで排除すると“検索対象にならなくなる”とあり、また別の人の書き方では“ロボットが巡回しなくなる”とある。わたしは「インデックスの対象になってもかまわないが、こう頻繁にCGIファイルを叩かれては負荷が高いので」と、仕方なくrobots.txtによる排除を決めた――だから、巡回はされつづけて負荷は高いまま、それなのにインデックスが消えるという結果になれば本末転倒だし、泣きたくなるほどつらい。

現段階では検索対象でもあり、巡回対象でもあるので、Googleたちサーチエンジンのロボットがうちのrobots.txtを理解するのに1ヶ月以上かかっているという推測をするしかない。1〜2週間なら仕方ないかと思えたものの、これは長いように思える。

一度はGoogleの問い合わせ欄からメールを出したが、よほどの事態であると判断されない限り、返事は来ないのだそうだ。

認識されない理由はないだろうから、遅れているだけだと信じたい。実際、チェックするタイミングなどによっては、検索で引っかかりにくくなっていたり、対象件数が減っていたりするので、少しずつ効果は出ているのかもしれない。

Posted by mikimaru at September 14, 2006 02:43 AM
コメント