WeBoxとかいうのにクローリングされる

クローリングされること自体は構わないのだけど、この手のツールはどうして一度読み込んだページを何度も読み込むんざんしょ。うちのサイトは日記ページのインデックスが相互参照している(パンくずリンクがある)ので、バカなクローラだとぐるぐる廻ります。何が問題か、と改まって聞かれてもそれほどではないんだけど、強いてあげると時間あたりのトラフィックが跳ね上がるとルータがハングアップしてしまうかも、ぐらいか。robot.txtを読んだ気配がないのでそこはどうにもならないけれど、GETクエリの応答間隔をサーバ側でコントロールできると嬉しいかな。単に思いついただけですが（たぶん、探せばそういう装置なりなんなりあるという気はする）。