パスワードを忘れた？ アカウント作成
Close

スラド終了のお知らせ More | Reply

「スラド終了のお知らせ」記事へのコメント

  • とりあえず (スコア:4, 興味深い)

    by Anonymous Coward on 2024年01月22日 14時12分 (#4597258)

    ArchiveTeamのIRCに潜っています。
    srad.jpに関しては既にクロールが始まっています。
    http://archivebot.com/ [archivebot.com]
    で進捗を確認できるかと
    コメントはhttps://srad.jp/comment/* のURLから保存できるかもです。
    それよりやばいのがOSDNですね。プロジェクトが5万以上あってやばそうな感じです。

    ここに返信
    シェア

    • Re:とりあえず (スコア:1)

      by Anonymous Coward on 2024年01月22日 14時41分 (#4597295)
      https://srad.jp/journal/* (日記)
      と
      https://srad.jp/submission/* (タレコミ)
      もお願いします。

      • Re: (スコア:0)

        by Anonymous Coward
        日記のURLについて補足しておくと、正式な日記のURLは
        https://srad.jp/~ユーザー名/journal/*/
        のようですが、ユーザー名の部分はなくてもアクセスできるようなので、クローラーを回すなら
        https://srad.jp/journal/*
        のほうが簡単だと思いました。

    • Re:とりあえず (スコア:1)

      by gg_pic (10157) on 2024年01月22日 15時34分 (#4597356)

      各自が？　クローラー走らせてるのかサイトが重くなってきましたね。

    • Re: (スコア:0)

      by Anonymous Coward

      ここにぶら下げますか
      OSDNについて、
      各種WebページはArchiveTeam ArchiveBotが、git/hg repoはhttps://www.softwareheritage.org/がクロールを開始してます。
      ただArchiveBotはタイムアウトに苦しめられているっぽいです。
      あとは、cvs/svn repoの取得に難儀しているようです。サイト全体でのレポジトリのリストが必要みたいです。
      どなたかアイデアありましたらお願いします。

      • Re: (スコア:0)

        by Anonymous Coward

        てかOSDNってサーバー分散してるんだから、ミラーサーバーから均等にファイル拾ってくればいいんじゃないの?
        それでもダメ?

        • Re: (スコア:0)

          by Anonymous Coward

          あと追記で、ミラーサーバーをホスティングしてる会社や大学や研究機関の人に直接連絡取って、全ファイルをコピーさせてもらえないか聞いてみるってのはどう?
          OSDNとサーバーの契約とかあってできないとか?
          もう契約なんか実質無効になってそうだけど。

    • Re: (スコア:0)

      by Anonymous Coward

      コメントは1から460万くらいまで回すんでしょうかね
      リンクをたどる方式だとかなり取りこぼすと思う

    • Re: (スコア:0)

      by Anonymous Coward

      こっちにも書いとく。
      https://srad.jp/sitemap-index.xml [srad.jp]
      このサイトマップ、ストーリーのURLがサブドメインの場合は転送ができてないから404だらけになってる。
      開設2001年4月以降のストーリーは
      https://srad.jp/story/YY/MM/DD/ [srad.jp]
      の形式でリンク辿っていかないと無理っぽい。
      例:https://srad.jp/story/01/04/

    • Re: (スコア:0)

      by Anonymous Coward

      とりあえず、phason氏の日記は保存し終えた

      • Re: (スコア:0)

        by Anonymous Coward

        /-phason/journals/〜を数えたら400件あったけど、internet Archiveにslashdot.jp時代を含めて244件(エラーあればそれも含む)しか保存されてないわ。
        暇があれば保存しないと

    • Re: (スコア:0)

      by Anonymous Coward

      手伝ってもいい？

    • Re: (スコア:0)

      by Anonymous Coward

      見てきたけど、コメント番号4597260より後に書かれたコメントってクロールしないの？

クラックを法規制強化で止められると思ってる奴は頭がおかしい -- あるアレゲ人