アカウント名:
パスワード:
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
計算機科学者とは、壊れていないものを修理する人々のことである
巡回ペース (スコア:1, 興味深い)
人によっては迷惑なペースのような。
#robot.txt更新しなくては。
Re:巡回ペース (スコア:1, 興味深い)
自分のほうからサーチエンジンに知らせてあげる枠組みは作れないものだろうか。
協力者はサーバにアドインを仕込む。更新したときには
自動的にサーチエンジンのデータベースに登録してあげる。
こうすると無駄がない上に提供者の意思で登録したりはずせたりして便利なんだけど。しかも最速。
Re:巡回ペース (スコア:2, 参考になる)
これが入れば今のリンクと同じようにモニタ関係で結ばれたページ群が各所に自己生成して、その中から生まれた巨大群だけサーチエンジンがモニタ、みたいな構造ができそうです。
Re:巡回ペース (スコア:1)
最短間隔でのモニタが必要と判定されるページが 1000 ページもあれば毎秒アクセスがくる勘定になるのでちょっと迷惑かもしれませんが、そういう所はきっとそれなりの規模とアクセスがあるのでOKでしょう。
＃ それに一律 15 分間隔では処理をどれだけ細分化しても
＃ 圧倒的な流入データ量で自分の方が詰まってしまいそう
Re:巡回ペース (スコア:1, 参考になる)
更新頻度を学習して巡回ペースにメリハリを付けてるっぽいですね。
１ホストへのアクセス集中についてもそれなりに配慮しているようです。
Linuxクラスタなんですね。
Re:巡回ペース (スコア:0)
robots.txtを変更しないと意味がない罠。
#あまりにつまらないつっこみなのでAC
robots.txt (スコア:0)
とりあえずrobots.txtをrobot.txtにコピーしましたが。