NTTデータ、Doblog終了へ。「技術的知見・運営ノウハウの蓄積は達成」と強調 149
ストーリー by hylom
撤退 部門より
撤退 部門より
Anonymous Toward 曰く、
4月24日に発表された「Doblogのサービス終了のお知らせ」によると、NTTデータは2月8日からハードディスク故障のために停止していた「Doblog」のサービスを、5月30日をもって終了するという。
終了することにした理由については、
今後のDoblogについて検討した結果、Doblog開設時の目的である、ブログシステムを構築するための技術的知見、およびコミュニティサービスを運用・運営するためのノウハウの蓄積については十分に達成できたものと考え、サービスを終了するという判断をいたしました。
と説明している。
また、復旧作業が完了したことで、終了の日までの間「ブログ移転先の周知等のためにサービスを一時的に再開」したとのことだ。
故障内容の詳細によると、ストレージはRAID5構成で保護していたものの、同時に2台のHDDがクラッシュしたためにデータを復旧できず、更にバックアップ用のサーバでも障害が発生したという。また、データベースの情報は1日1回バックアップを作成し、データベースサーバーとバックアップ用のサーバーに保存する設定だったそうだが、それでもデータを保護しきれなかったとのこと。
また、これを受けてlivedoorはDoblogブロガー向けブログ移行支援プログラムを提供することを発表した。移行を行ったユーザーによると、コメントやトラックバックを含めてlivedoorブログへの移行が行えているという。
RAID5 は鬼門 (スコア:5, 興味深い)
今まで2回泣きました。一回は、8台で組んだRAIDのHDD1台がクラッシュして、再構築中にもう一台が昇天。もう一回は、定期停電の後の復帰作業中のオペレーターの操作ミスでマウントに失敗後、読めなくなった。
物理的・地理的に離れたところにバックアップをするのが一番。そのためには、RAID5を組んで大容量ボリュームをつくると、かえって不便、と思うようになりました。
それにしてもこの開き直り方には、あきれを通り越して、ネット貧民の有象無象は相手にしないという覚悟に清々しさを感じる。
別に鬼門じゃねーよ (スコア:2, すばらしい洞察)
ちゃんとした使い方分かってない奴が設計・構築・運用して痛い目にあってるだけ
Re:別に鬼門じゃねーよ (スコア:3, 興味深い)
「まず、バックアップして」
それから、故障ディスクを入れ換えて rebuild 。
いきなり rebuild なんてありえないです。90年代後半の「ディスク逝かれまくり」を体験した世代では身にしみているとは思うけどね。
Re:別に鬼門じゃねーよ (スコア:5, 興味深い)
RAIDに限らず、壊れちゃったデータはまず「まるっとコピーを取って」そのコピー相手にいろいろやるのが鉄則ですな。
RAIDは信頼性がそこそこのディスクを束ねて使うときの気休めなので、理解しないとハマりがち
1. 複数台のHDDを使うんだから、システム全体としての故障発生率はあがる
2. どのRAIDを使っても、復旧時は基本的にシステムダウンする
3. オペレーションミスには対応できない
4. RAID1以外は基本的に実装依存
# 何を求めてるか忘れて設計すると悲惨なことになるのはいつものことですが:p
Re:別に鬼門じゃねーよ (スコア:2, 興味深い)
など状況によって担える役割が異なります。
単に本で読んだ知識だけでは対応しきれないところもあり、経験がものを言う部分も
多いと思います。これは一例ですが、ここ最近の人手(人材)不足でそういったことを
知らずにアサインされている若手技術者も多い。
鬼門かどうかはおいておいても難しいと思います。
これは愚痴ですが、(暇な人は読んでください。)
リストア手順が紛失しているところとか、RAID5でバックアップOKと
勘違いしているところや、リストアテストしていないようなところなど、
バックアップ構築に不備のあるシステムを良く見かけました。
システム構築作業中の中だるみ間で作業がいい加減になるのではとか、
金のかかる作業なのに客は事が起きてから出ないとその危険性に疎く予算が出ないことも
多いのではと考えています。
データの持ち方が多様化しているし、パッケージも種類が多すぎて選定が難しい。
バックアップ構築はしんどいな~
Re:RAID5 は鬼門 (スコア:3, 興味深い)
> 「同一ロットのドライブは故障するときには同時に故障する」
> って話はよく聞きますが、それって実際どうなんでしょ?
PC内のドライブが次々とクラッシュ、またはエラーを吐くってのはありますよ。
電源がヘタってたりとかの周辺部品の劣化です。
ディスクアレイでは経験はないけれど、同時クラッシュの原因のひとつにはマシン側の問題も
あるやもしれません。あるいは突発的パルスノイズとか。
同一ロットの可能性あるでしょうけど、むしろ同一環境である事の方が可能性が高いような気がします。
いくら同一ロットと言っても100,000時間以上の性能をうたってるものが数十時間の差で
寿命を迎えるというのは、にわかに信じがたいような。
〜◍
Re:RAID5 は鬼門 (スコア:2, 興味深い)
4台のPCに導入したIBMの40GBのHDDのうち、3台がほぼ同時期に故障したことはあります。
購入が9年ぐらい前で、壊れたのが5年ぐらい前のことだったかな。
で、残りの1台は今でもノートラブルで元気だったり…
#私は、同一メーカーで構成してるRAIDで故障交換するときに
#「間違えて生きてるHDDを抜く」ってポカをやったことがあり、
#それ以来「判別のため」RAIDはできるだけ別メーカーのHDDで構成するようにしてます。
Re:RAID5 は鬼門 (スコア:2, 興味深い)
>「同一ロットのドライブは故障するときには同時に故障する」
一度あります。
この時は直近の前日バックアップまでしか戻せませんでしたね。
まあ、インフラ設計をした時点でこのリスクはわかっていて、
顧客も納得済みでしたが。
そういうことを織り込んだ上で顧客と契約することが重要なんです
けどね。可用性と信頼性を追求するならそれなりのお金が掛かるわけで。
最近、エンタープライズ級のストレージを扱っているところに
HDDの同一ロトを載せないなどの対策をしているのか?と聞いたことが
あるのですが、特にそういうことはしていないとの返答でした。
まあ、実際は60本くらい載せたストレージが納品されてもHDDが
全部同じ会社の製品で構成されていることは少ないですね。現場で
判断しているのかも知れません。
#とはいえ、RAIDグループ毎に違うくらいなんですけど。
Re:RAID5 は鬼門 (スコア:1, 参考になる)
同一ロットだったせいだとは思いませんが、以前いた大学のシステムはRAID6(でしたっけ?パリティ2個分記録するやつ)で組んでいたにも関わらず、1台すっ飛んだ時のリビルド中にもう一台が飛んで、さらに換えのディスクを持ってくるまでの間にもう一台すっ飛んで結局死亡した素敵な奴でした。さすがに3台飛ぶのは予想外だったらしく、各パーツの検証やらバックアップからの書き戻しで大変そうでした。
#結局、どこかのパーツが悪いとかではなく、単純にものすごく運が悪かったんだろうと。
ただ、物理的/ファームウェア的なロット不良を避けるために違うロットを組み合わせるってのはありなのかなあとは思います。
Re:RAID5 は鬼門 (スコア:2)
そんなにいっぺんに壊れるってことは、外的環境の変化とかはなかったでしょうか?
例えばすぐ近くで塗装工事を行っていたりとか、エアコンが壊れたとか。
筆者が身罷っていた場合記事は何処へも移転出来ず、消えてしまうのか (スコア:3, 興味深い)
がんばって、読む。それしかないのか。>「ただの散歩 - 少しは業界事情に通じているパソコンオタク」
http://www.doblog.com/weblog/myblog/30016 [doblog.com]
fj.jokes出身:
Re:筆者が身罷っていた場合記事は何処へも移転出来ず、消えてしまうのか (スコア:2)
自分が読むためなら、適当なダウンロードツールを使ってとりあえず全部ローカルに保存しておけばどうですか。そうすれば、お好きなときに読めます。
そのブログの場合、ぱっと見た感じでは、 http://www.doblog.com/weblog/myblog/30016?pageNo= の後ろに 1 から 199 までの整数を付ければすべての記事の記事本文を取れるようです。コメントやトラックバックまで含めて保存する簡単な方法はちょっと思いつきませんが。
Re:筆者が身罷っていた場合記事は何処へも移転出来ず、消えてしまうのか (スコア:1)
リンクをかたっぱしから保存していくとか?
# ブログは記事毎、月別、最新、タグ別……など、いろんなリンクがあったり、
# トップページから辿るために結構なクリック数が必要なところに記事があったり、
# そういった保存がしにくいんだけど……
1を聞いて0を知れ!
Scrapbook拡張なんかで (スコア:1)
Firefox の Scrapbook 拡張かなんかでとにかく保存してしまうしかないのだろうなぁ。
周知時期の期限が5月30日までとか、性急すぎると思う。
屍体メモ [windy.cx]
目的を達成する (スコア:2, すばらしい洞察)
目的を達成すると、企業やサービスが終了するってなんか違和感がある。
自分の負けを認めたくないみたいな。
Re:目的を達成する (スコア:4, おもしろおかしい)
「発展的解消」という言葉もありますしね
他にも「休刊」とか「転進」とかね。
# ああ・・・全部負け惜しみにしか聞こえない
Re:目的を達成する (スコア:2, 参考になる)
なものが理由です。いろいろややこしいですが、ロジックは以下の通り。
・雑誌を出すには「雑誌コード」が必要
・雑誌コードは5ケタで管理されており、すでにパンク状態。新規取得は事実上不可能
・雑誌が終わる時に「廃刊」をすると、出版社がその雑誌コードを手放すことになる
・そのために、新規事業で雑誌を出すときのために、「休刊」と銘打って、雑誌コードを
保有しておく必要がある
「終了」のかっこいい呼び方を考えるスレ (スコア:1)
「散開」
# 「次回作にご期待ください」とかも。
Re:「終了」のかっこいい呼び方を考えるスレ (スコア:4, おもしろおかしい)
Re:「終了」のかっこいい呼び方を考えるスレ (スコア:1)
「オレはようやくのぼりはじめたばかりだからな。 このはてしなく遠い男坂をよ」
#
「蜜柑」「未完」Re:「終了」のかっこいい呼び方を考えるスレ (スコア:1, おもしろおかしい)
あれ?
Re:目的を達成する (スコア:3, おもしろおかしい)
NTTデータは保守的な会社では, TOMOYO Linuxと同じ (スコア:2)
NTTデータは、ブログの広告費で収益を稼ぐような新しいタイプの
事業を繰り広げるというよりかは、既存の企業に情報システムを
提供することで収益を得ている保守的な会社なわけで、今回の撤退
が負けを示すものには到底見えなかったです。
サービス種目にブログシステムの構築と運用を追加できればそれで
良かったのではないでしょうか?
そういう意味では、TOMOYO Linuxなどと同じようなポジション
ではないかと思いました。
大本営発表でしょ (スコア:3, すばらしい洞察)
>保守的な会社なわけで、今回の撤退が負けを示すものには到底見えなかったです。
これが
「Doblogの大規模トラブル発生 & ブログデータの復旧さえできませんでした事件」
の『前』に計画的に行われた撤退であれば、私もそれに同意したでしょうね。
ちょうどIBMのThinkpad売却のように。
でもあのトラブルの『後』に、なし崩し的に行われた撤退発表であれば、
なにをどう言い繕っても大敗北にしか見えません。
#つまりはミッドウエー海戦の大本営発表?
#「空母ホーネット、エンタープライズを撃沈、味方の損害は空母一隻、重巡洋艦1隻沈没、空母一隻大破」 [wikipedia.org]
Re:目的を達成する (スコア:2, 興味深い)
先日GeoCities.com [yahoo.com]の閉鎖を耳にしましたけど、この10年で無料サービスに対してのイメージ・要求が変わったなぁというい印象があります。
当時は無料サービスのアカウントなんて無通知でデリられて当たり前でしたもの。
利用する側も、無料だからと割り切って諦めてましたし。
まぁ所詮手元にマスターデータがある訳なのでFTPで上げ直せばいいや、という問題だからでしょうけど。。
# でもHyperMart、VirtualAveアカウントの無通知デリは痛かったなぁ…
Re:目的を達成する (スコア:2)
ってことがわかりました。」と素直に書けば良かったのに。
Re:目的を達成する (スコア:1)
サービスじゃなくてテストだったんじゃないかな。
だから目標達成。
Re:目的を達成する (スコア:3, すばらしい洞察)
なるほど。
逆に考えると、万一やらかした場合でもそのままトンズラして逃げることが絶対になく、
とにかく湯水のように人と金を使ってでもなんとか体裁整えるところまではこぎつけるということですね。
今回の件でも、テープバックアップ(?)で数ヶ月前のデータに戻してハイ終了!ではなく
専門の復旧業者のほっぺを札束でビンタしながら崩壊したRAID5アレイからデータをサルベージさせて
99%のデータを復元するところまではがんばった、と。
どんだけ金かかったんでしょうねぇ。
「復旧まで時間のかかったバカで使えない間抜けなNTTデータ」という認識でしたが、すこし見直したかも。
中の人お疲れ様でした。
# モノは言い様ってことかなぁ
Re:目的を達成する (スコア:2, 興味深い)
>やってないか
もっと高度です。
「やって」なんかいません。
そんなこといちいち明示的に言いませんから。
「言うまでもなく、そうなってる」だけのことです。
#NTT系のヒマゴ請けヤシャ子請けで飯を食って十数年なので絶対AC
明示(命じ?)するまでもなくデフォである特定の強制力が働き続けてる状況。
これを小難しい言葉では「コンテキスト」と言います。
「文化」とも言います。
つまりは業界丸ごとどうにかなってくれない限り変わらんでしょ。かわるのは下請けの名前だけ。
よしんば業界丸ごとどうにかなる日がきたとしても、その次の何らかの業界が同じような状況になるでしょ。かわるのはトップの名前だけ。
失敗知識データベース (スコア:3, 参考になる)
ご存知かもしれませんが
つ科学技術振興機構 失敗知識データベース [jst.go.jp]
ライブドアがこんなこと言ってますよ (スコア:2, 興味深い)
ライブドアのメディア事業部長氏がこんな記事書いてます。
NTTデータ Doblog終了に感じた「見え透いたウソ」と「組織の腐敗」 [livedoor.jp]
Re:ライブドアがこんなこと言ってますよ (スコア:4, 参考になる)
Re:ライブドアがこんなこと言ってますよ (スコア:2, 興味深い)
ライブドアも酷い組織だね。それとも、メディア事業部長個人が酷いのか。
次のコメントがあまりにも適切すぎます。
強調したのはあなたでしょ (スコア:2, 興味深い)
ストーリーのタイトルが
となっていますが、 NTT データの説明を読んでもサービス終了の理由が特に強調されているとは感じませんでした。そこを強調しているのはタレコミ人なり編集者なりだと思います。
インフラ設計は難しい (スコア:2, すばらしい洞察)
こういうインフラ設計って、なかなか体系的に学べないので
経験則でみんなやっちゃうので、難しいですよね
Re:インフラ設計は難しい (スコア:2, すばらしい洞察)
別紙1の詳細を見る限り、既にデータ保護&バックアップの基本とされている事すら出来てなかったように思うけど
百歩譲ってそこに目をつぶったとしても、NTTデータにノウハウが無いとか笑い話にしかならんw
# 人によっては笑えないかも
復旧会社 (スコア:2, 興味深い)
真相 (スコア:2, すばらしい洞察)
中央官庁の寄生虫に何を期待するのか (スコア:2)
「NTTデータ 癒着」でググれば、役人様と仲の良い様子 [google.co.jp]が色々とわかって面白いですね。
日本じゃ、こんな国家社会主義ITゼネコンが最先端のトップクラスIT企業とされているんだから、
お先は真っ暗だ。
一番使いやすかったのになあ (スコア:2)
ログインした状態で参照と投稿がシームレスにできる小気味良さが、「管理画面」に行かないと投稿できないほかのブログサービスにないよさだったんだが。
残念だ。
記事の移行ってどうやるのかな (スコア:1)
何人か知りあいのブログがDoblogにあるんだけど、あまり詳しくない人でも他のブログサービスへの記事の移行ってできるのかな?
屍体メモ [windy.cx]
Re:記事の移行ってどうやるのかな (スコア:5, 参考になる)
一応、説明ページ [doblog.com]がありまが、
記事のデータをファイルとしてエクスポートして、
それを、移行先のブログサービスでインポートするだけ、です。
データフォーマットは、
記事は、ブログの標準的なファイル形式であるMT(MovableType)フォーマットとなっております。
だそうです。
あと、
となっています。
スペアディスクなし (スコア:1)
スペアディスクなしというのが驚きです。「ディスクアレイが12ベイなので、
スペアディスクを設けると2グループ格納できない」というオチかもしれませんが。
Re:スペアディスクなし (スコア:2, 興味深い)
えー、パリティとスペアは別物です。
5D データディスク5台(分)
1P パリティディスク1台(分)
の6台1セットのRAID5となっていたようですが、障害発生時にまずもう一台の破損による復旧不可能に対応するため、(ホット)スペアとして1台以上ないというサービスは変だろというのが親コメの意味ではないかなと。
# とはいえ、運用ルールとの兼ね合いで、いきなり復旧させないとか、ホットじゃないスペアだったりとかはアリだし、そもそもRAID6じゃないのかとか、いろいろ異論はありそうですが。
個人的には
* RAIDとバックアップは違うのにちゃんとできてなかった臭いのだが、Doblog(NTT-DATA)的にはそれを学習できた、ということだろうか
* つーか、RAIDの復旧に失敗してるが、それって経験を積めたというのか
* 自分が経験つむために運用してたサービスということでいいのか、一応でもまずお客様のために~があって、その上で、今回総括してこうだというのが筋でないのか
とかいろいろ思いますね。
M-FalconSky (暑いか寒い)
Re:スペアディスクなし (スコア:2, 興味深い)
RAID5って定期的に表面検査しないと「発見されないエラー」がトラブル時の再構築中に「発見」されちゃう。
そういうものなんでしょう?(と詳しい人に聞いた)
Re:スペアディスクなし (スコア:1)
えー、パリティとスペアは別物です。
#1555112 [srad.jp]もそう言ってるように読めるけど。
障害発生時にまずもう一台の破損による復旧不可能に対応するため、(ホット)スペアとして1台以上ないというサービスは変
そんなにヘンでもないでしょう。中身の価値が高ければそこまでやる意味もあるけど、そうでなければRAIDにすらしない、という選択だってありえます。
Doblogって無料サービスなんですよね?だったらRAID5ならホットスペア無しでも十分良心的だと思いますよ。文句があるなら、他の無料サービスを探してもいいんだし。お金を出すんなら、十分なSLAを持ったサービスもあるでしょう。
あれ?これって本当に笑っていい事例だよね? (スコア:1)
じゃあ、笑っちゃおう。
「天下の(笑)NTTデータ(笑)」
Re:あれ?これって本当に笑っていい事例だよね? (スコア:5, すばらしい洞察)
Re:あれ?これって本当に笑っていい事例だよね? (スコア:2)
「NTTデータ 癒着」でググると色々出てきておったまげる。
「民営化」とかホザいといて、中央官庁の甘い汁吸ってるだけの寄生虫じゃないですか。
この辺はどうにかならないものか。
Re:バックアップ (スコア:1)
バックアップウィンドウ(RPO)の話と世代管理の話が混ざっていませんか。
どこで・どういう障害ケースから・何を守りたいのかにより、それぞれに最適な組み合わせ・バックアップポリシーがあるはずです。