「Googleの買収に興味を示すMicrosoft」記事へのコメント

Microsoft Prototype Crawler

[masato (6217)]

今年の５月頃、Internet Watch [impress.co.jp] で報じられていた MS 謹製ロボットが私の Web サイトにも来ていました。五月蝿いので robots.txt で弾いて、それっきり音沙汰なかったのですが、自社開発は諦めたのかな。

Re:Microsoft Prototype Crawler

[Anonymous Coward]

五月蝿いとはどういう事…？

Re:Microsoft Prototype Crawler

[masato (6217)]

このロボット、かなり頭が悪いらしくてリンクを辿っての再帰をきちんと処理できないのか短時間のうちに同じデータを繰り返し要求してきたりするのですよ。回線の細いサイトにとっては DoS みたいなものです。しかも発信元の IP アドレスは逆引きできない上に UserAgent で MicrosoftPrototypeCrawler (How's my crawling? mailto:[e-mail]) などと言われても信用できません。

「五月蝿い」は「うるさい」と読みます。