「GoogleはJavaScriptで隠匿したメールアドレスを読み取り、検索結果に表示している？」記事へのコメント

GoogleBotはさまざまなJSを解釈している

[sumiiiii (6360)]

自分の持っているサイトで、select要素のonChangeで別ページに遷移する仕組みを取っています。
実際にモノ [orelabo.jp]を見ていただいたほうが話は早いのですが、
複数のselect要素を用意してさまざまな組み合わせを自由に選べるようにしています。

このページにGoogleBotがやってきたのですが、この組み合わせを全部試していってくれました。
毎日数千アクセスがあり、それが何日も続きました。
組み合わせを変更しながら試していた様子はアクセスログで確認しました。

よって、GoogleBotはdocument.writeのような簡単なスクリプトだけでなく、さまざまなJSを解釈し、
実行していると認識しています。

# ちなみに、Yahooなどのクローラではそのような挙動をしていませんでした。

Re:

[Anonymous Coward]

GoogleツールバーをインストールしておけばURLが送信されちゃうわけだから、
別にJavascriptを解釈しなくてもURLは収集できる。
ある程度データが蓄積できれば、パラメータの組み合わせなんかは容易に推測できると思うんだけど。

Re:GoogleBotはさまざまなJSを解釈している

[sumiiiii (6360)]

前述のGoogleBotのよるクロールはサイト開設後数日のことでした。
その時点で人間によるアクセスは数件。それに対してGoogleBotは数千件。
GoogleWebマスターツールでサイト登録を行ったので、外部からのリンクはなし。
また、前述のonChangeとかだけでなく、他にもJSでしかたどれないリンクをたどっていました。
よって、GoogleBotが順番に組み合わせてると判断できました。

それに、勝手に推測してパラメータを組み合わせるなんてことをされたら、
セキュリティホールを突く可能性とかあるのでやらないと思うんですが。

# そんなのでセキュリティホールになるようなつくりにしているオーナーが一番間抜けではありますが。