アカウント名:
パスワード:
NOINDEX, NOFOLLOWが指定されているものだけ検索したい時はどうするのが一番いいんだろ?
naverが2005年1月まで使用していた初代NaverBot [wikipedia.org]はrobots.txt無視だったな。
サイト管理者が用意するrobots.txt(クローラのアクセスを制御するファイル)を読み込みながらも無視。あるいは、robots.txtを短時間に何度も読み込む。
#余りにうざくてIPアドレスで弾いた記憶がある
2代目Yetibotは国際標準規格である「robots.txt」および「METAタグ」に対応している [wikipedia.org]らしい
ふと疑問に思ったけど、robots。txtの無視って法的にはどうなんだろう
クロールしてほしくないって意思表示を示しているのに何度もクロールしてきたり検索結果に乗せられて、何らかの被害が出たことが立証できれば不法行為になるのだろうか(某図書館みたいな事件もあるんだから、クロールの頻度が高ければそもそも不正アクセス扱いしても良さそうなものだが)
日本だとロボット型検索エンジンが著作権法47条の6の適用を受けるにはrobot.txtに従う必要がある(条文に直接書かれているわけではないが著作権法施行令7条の5第2項→著作権法施行規則4条の4と多重リダイレクトした先で規定)
某図書館は1分に1回のアクセスで落ちるマジでクソみたいなシステムだったんですが
公共施設のサイトってクソみたいなの多いですね。使いづらい、仕様が古い、等々…
クソなシステムしか納品してはいけないってお達しでもあるんだろかw
どんどん下の誰かに丸投げして、できない金額になった時点でつくるからじゃない?
リアル店舗とかだと、私有地だから入店拒否できるけど、ウェブの場合、そのへんどうなんだろうな。外から見れちゃうんだから私有地の外から見てるだけだ、とか言ってきそうだけど、サーバーにアクセス=私有地侵入、な気もする。不正アクセスなのか不法侵入なのか迷惑行為防止条例違反とかなのか。ネットだとどの自治体の条例が適用されるんだろう・・・
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ソースを見ろ -- ある4桁UID
robots.txt完全無視のサーチエンジンもあるよね (スコア:0)
NOINDEX, NOFOLLOWが指定されているものだけ検索したい時はどうするのが一番いいんだろ?
Re:robots.txt完全無視のサーチエンジンもあるよね (スコア:1)
naverが2005年1月まで使用していた初代NaverBot [wikipedia.org]はrobots.txt無視だったな。
#余りにうざくてIPアドレスで弾いた記憶がある
2代目Yetibotは国際標準規格である「robots.txt」および「METAタグ」に対応している [wikipedia.org]らしい
Re: (スコア:0)
ふと疑問に思ったけど、robots。txtの無視って法的にはどうなんだろう
クロールしてほしくないって意思表示を示しているのに何度もクロールしてきたり検索結果に乗せられて、何らかの被害が出たことが立証できれば不法行為になるのだろうか
(某図書館みたいな事件もあるんだから、クロールの頻度が高ければそもそも不正アクセス扱いしても良さそうなものだが)
Re:robots.txt完全無視のサーチエンジンもあるよね (スコア:1)
日本だとロボット型検索エンジンが著作権法47条の6の適用を受けるにはrobot.txtに従う必要がある(条文に直接書かれているわけではないが著作権法施行令7条の5第2項→著作権法施行規則4条の4と多重リダイレクトした先で規定)
Re: (スコア:0)
某図書館は1分に1回のアクセスで落ちるマジでクソみたいなシステムだったんですが
Re: (スコア:0)
公共施設のサイトってクソみたいなの多いですね。
使いづらい、仕様が古い、等々…
クソなシステムしか納品してはいけないってお達しでもあるんだろかw
Re: (スコア:0)
どんどん下の誰かに丸投げして、できない金額になった時点でつくるからじゃない?
Re: (スコア:0)
1次受けがキッチリ作って納品してるんだ
# なおその1次受けは自治体情シス幹部のスピンアウト
Re: (スコア:0)
リアル店舗とかだと、私有地だから入店拒否できるけど、ウェブの場合、そのへんどうなんだろうな。
外から見れちゃうんだから私有地の外から見てるだけだ、とか言ってきそうだけど、サーバーにアクセス=私有地侵入、な気もする。
不正アクセスなのか不法侵入なのか迷惑行為防止条例違反とかなのか。ネットだとどの自治体の条例が適用されるんだろう・・・