2008-11-15から1日間の記事一覧
クローリングされること自体は構わないのだけど、この手のツールはどうして一度読み込んだページを何度も読み込むんざんしょ。うちのサイトは日記ページのインデックスが相互参照している(パンくずリンクがある)ので、バカなクローラだとぐるぐる廻ります。…
クローリングされること自体は構わないのだけど、この手のツールはどうして一度読み込んだページを何度も読み込むんざんしょ。うちのサイトは日記ページのインデックスが相互参照している(パンくずリンクがある)ので、バカなクローラだとぐるぐる廻ります。…
