アカウント名:
パスワード:
4TBのHDDを12個搭載したサーバを1000台ぐらい用意してHadoopシステムを構成すれば、HDD容量は合計48PBです。hadoopのデータを3重の冗長化構成とすれば16PBぐらいの容量になります。サーバ1台を100万円で購入できれば空調やラックやスイッチなど周辺装置も含めて20億円ぐらい。
サーバ1台30kgとして100平方メートルに分散すれば1平方メートルあたりの荷重は0.3トン、周辺装置も含めて0.5トン以下に収まります。
1サーバが500Wだとトータルで500KW、電気代は月500万円を超えそうです。
40台のサーバをL2スイッチでまとめて40Gbpsのイーサーネットでつなぐと1000台で合計1Tbpsです。普通のストレージやテープでこの速度のコピーは無理と思いますが、Hadoop間コピーだとサーバ間の分散コピーになるので1Tbpsのコピーができます。4PBのコピーは1日あれば可能です。
Hadoopで組んだシステム同士の間での理論値ならそうなるのかもしれませんが、今回のは、旧システムからのデータ移行作業ですから、データ送り出し元の構成とか性能とかもありますよね。
データ移行後の確認をどうやって行なうのかとかも。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
人生unstable -- あるハッカー
Hadoopなら可能でしょ (スコア:3, 興味深い)
4TBのHDDを12個搭載したサーバを1000台ぐらい用意してHadoopシステムを構成すれば、HDD容量は合計48PBです。hadoopのデータを3重の冗長化構成とすれば16PBぐらいの容量になります。サーバ1台を100万円で購入できれば空調やラックやスイッチなど周辺装置も含めて20億円ぐらい。
サーバ1台30kgとして100平方メートルに分散すれば1平方メートルあたりの荷重は0.3トン、周辺装置も含めて0.5トン以下に収まります。
1サーバが500Wだとトータルで500KW、電気代は月500万円を超えそうです。
40台のサーバをL2スイッチでまとめて40Gbpsのイーサーネットでつなぐと1000台で合計1Tbpsです。普通のストレージやテープでこの速度のコピーは無理と思いますが、Hadoop間コピーだとサーバ間の分散コピーになるので1Tbpsのコピーができます。4PBのコピーは1日あれば可能です。
Re:Hadoopなら可能でしょ (スコア:0)
Hadoopで組んだシステム同士の間での理論値ならそうなるのかもしれませんが、
今回のは、旧システムからのデータ移行作業ですから、データ送り出し元の
構成とか性能とかもありますよね。
データ移行後の確認をどうやって行なうのかとかも。