パスワードを忘れた? アカウント作成
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。

図書館Webサイトへのクローラを実行して逮捕された男性、不起訴に」記事へのコメント

  • 毎秒のアクセスで落ちてしまうサーバーも貧弱ではあるが
    そういうサーバーに鞭を打つほうにも責任はあるのでは?

    業界人なら一時期某検索エンジンの頻繁なクロールに渋い顔をしている管理者が居たことを知らないとは思えません。
    ましてや「”技術志向のビジネスマン”を売りにして行きます」なんて人が知らないとは思えないのですが.....
    氏のblogは読んだけどクローラの設計ポリシーと開発には疑問があるしトラブル発生時の考察も甘い気がします。

    • by Anonymous Coward

      1秒に1回アクセスした程度でサーバが落ちるとか普通に想定できます?
      落ちたことは認識しても自分が原因だと察するのは非常に難しいと思いますが。

      • 「DBを叩きにいくリクエストを毎秒発行して性能に影響が出ない」
        が当たり前の考えの人って、実際あちこちで動いてるシステムを知らないんだろうなあとしか思えないってことでは。

        たとえばATMから現金を引き出すときに「問い合わせ中」とか普通に2~3秒かかったりするんだけど、
        そういうのを知ってて、1秒で終わらない可能性を考慮するくらいできません? みたいな。
        ベタなHTMLやテキスト読むだけのCGIに対してF5するのとはちょっと違う。

        今回の件は、経緯から考えればなおさらのこと。

        • > 1秒で終わらない可能性を考慮するくらいできません?
          いや、ちゃんと考慮されてますよ。 [librahack.jp]

          自分側サーバの負荷限定:30分間ぐらいで終わるように。約2,000リクエスト / 1,800秒 = 約1リクエスト/秒
          相手側サーバの負荷限定:シリアルアクセス(リクエストは同時に複数送信しない、リクエストの応答が返ってきてから次のリクエストを送信する)
          単位時間あたりリクエスト数を限定:リクエストとリクエストとの間に適当な時間間隔(ウエイト)を作る

          とのことです。(この説明自体が、ちょっと意味不明というか説明不足の感はありますが)おそらく「リクエストとリクエストの間に1秒の間隔をあける」ようなことをやってるんだと思います。
          応答に1秒以上かかるなら、リクエスト頻度は1秒より長くなってることでしょう。

          (実際には、この岡崎市立図書館のサイトにアクセスしてみた人の話とかを読むと、2~3秒どころか、十数秒待たされるようなシステムらしいですけど…)

          親コメント

一つのことを行い、またそれをうまくやるプログラムを書け -- Malcolm Douglas McIlroy

処理中...