アカウント名:
パスワード:
robots.txt を置いたからといって，ロボットに収集されないということは言えない。所詮，紳士協定。META 要素も同様。
# 最近の検索エンジンは、robot.txtというファイルも見てくれるのか?
見てくれないっすよ。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
物事のやり方は一つではない -- Perlな人
管理者の責任 (スコア:1)
こういうのが大きいんじゃないでしょうか。
# むう、zdnetの記事 [zdnet.co.jp] では、robot.txtになっているなあ。
# おお、robot.txtで探すとこんなの [zdnet.co.jp]も見つかるぞ。。。
# 最近の検索エンジンは、robot.txtというファイルも見てくれるのか?
Re:管理者の責任 (スコア:1)
robots.txt を置いたからといって，ロボットに収集されないということは言えない。所詮，紳士協定。META 要素も同様。
見てくれないっすよ。
Re:管理者の責任 (スコア:1)
昔からいますね。二年ほど前の情報ですがこちら [microvision.co.jp]など参考になるかと。