みずほ銀行が、3 月の障害についてレポートをまとめる 39
ストーリー by reo
銀行さんは色々大変そうだ 部門より
銀行さんは色々大変そうだ 部門より
racco 曰く、
震災直後の 3 月 15 日から発生したみずほ銀行の障害 (/.J 記事) について、みずほ銀行のお知らせによると発生原因および改善・対策案に関する PDF および信頼回復に向けた取り組みに関する PDF が公開された。
震災への義援金の振り込みが特定の口座に集中した事を発端となっている。このため夜間バッチが異常終了し、翌営業日開始時間までに夜間バッチを終了させることができずシステム運用が手作業となり為替の未送信が大量に発生したようだ。さらに夜間バッチは滞り、手動処理によるミスの多発、影響範囲の拡大などによりあれだけの規模の障害となったようだ。
リアルな描写と現場の興奮が伝わるドキュメンタリーといった仕上がりであり、率直な感想としてはとても正直な印象をうけた。
日記に貼ったから貼る (スコア:3, 参考になる)
みずほ銀行の3月のシステム障害の調査報告pdfが超面白いのでマはみんな読むべき [sakura.ne.jp]
PDF読むのは面倒だって人はこっちが先かな？
Copyright (c) 2001-2014 Parsley, All rights reserved.
Re: (スコア:0)
「Service Temporarily Unavailable」でみれないお。
/.ごときからのリンクで見えなくなるなんて、どんだけ貧弱なんだお。
Re: (スコア:0)
電波原因予想 (スコア:2, 参考になる)
/*
それはそーと、リンク先、話的に面白いのはこっちなんじゃね？
5 月 20 日付 調査報告書（要旨）（PDF/298KB） [mizuhobank.co.jp]
5 月 20 日付 調査報告書（全文）（PDF/510KB） [mizuhobank.co.jp]
*/
みずほﾀｿは、夜間バッチが落ちる可能性を
軽視していたんじゃないかなぁ。
ていうか、システム構築が「何があってもバッチを落とさない」
という方向を指向しすぎて、逆に
「これだけやったんだから、バッチが落ちるはずないよね」
みたいな先入主に囚われてしまったのかも。
だから、現実にバッチが落ちちゃった時に、
想定していた対策が甘かった、みたいな。
こういう事例が出ると、得てして
「全ての発生しうる事象に対して、完全な対策を取れ」
的な号令が発せられたりするんだけど、
文字通りにそんな事やってたら、物事なんて完成しないワケで、
そこら辺の匙加減は難しいやね。
どこで引っ掛けるかだよね （Re:電波原因予想 (スコア:3, 参考になる)
障害対策は、どこで引っ掛けて対応するかって事になるから、
1. リミット（1000件）以上の振込が想定される口座開設をしようとするとき
2. 夜間バッチを止めて主導に切り替えるとき
ぐらいが、落とせないポイントで、それ以外はてきとーで対策しておかないってのはアリだったような気がする。
口座開設時（もしくは、口座への振込み広報前）に、リミット以上の振込になるのはほぼ間違いなかったんだから、そこで特殊な対策を入れられなかった（担当者が知らなかった？）のが、問題だよね。
もしくは「夜間バッチを止める」って判断をするときに「今の対策の甘さじゃえらいことになるからこれは落とせない」って判断できなかった（or しなかった）のが問題かなあ。
# 逆に言えば、銀行を閉めるよりは開けて振込が遅延したほうがマシって判断もありなのかな。
今回の件もそうだけど、「原因はこうで、こうすれば起こらなかった」って検討はもちろん必要だけど、
「実はその時点での最適な選択の結果、まあまあ妥当なラインに落ち着いてる」って可能性もあるんでないかな。
# 銀行を閉めた挙句、振込み内容が消えて整合が取れなくなる、みたいな阿鼻叫喚にはならなかったわけだし:-P
Re:どこで引っ掛けるかだよね （Re:電波原因予想 (スコア:1, 興味深い)
> 口座開設時（もしくは、口座への振込み広報前）に、リミット以上の振込になるのはほぼ間違いなかったんだから
口座開設時(2005年)には，大量の振込にも対応できる設定だった。
2007年，顧客の希望によりリミットの低い口座に設定変更。
2008年，リミットの低いまま四川大地震の際にも義援金口座として使われたが，問題は発生せず。
これでは事前に「間違いなかった」と言えるとは思えませんね。
Re: (スコア:0)
# 銀行を閉めた挙句、振込み内容が消えて整合が取れなくなる、みたいな阿鼻叫喚にはならなかったわけだし:-P
数千件の二重振込が発生して整合性が取れなくなったり、残高不足の口座から10万円払い出して、未だに回収できてないとかの問題はスルーですか？
Re:どこで引っ掛けるかだよね （Re:電波原因予想 (スコア:1, 参考になる)
どこを緩めてどこを締めるかって戦略は重要だと思う。
今はどうか知らないけど、数年前はUSの銀行では電信振込は2-3日かかるのが普通で、でも別に困らなかったなあと。
小切手のデポジットもそうだけど、まず「仮の口座残高変更」が起きて、ぐるっと回って確認が取れたら「確定した残高」になる。
仮入金の段階で引き出せるかどうかは色々ルールがあるが要は信用の問題。あとで小切手なり電信なりが事故ってたら仮払い分は貸付扱いになったりする。
二重で振り込まれたことはなかったけど二重で振り込んでたことはあったな。クレームしたら「じゃあお金戻しとくわ」でおしまい。(ちなみにこの程度では銀行の人は謝りもしない。)
なので
「数千件の二重振込が発生して整合性が取れなくなったり」→余分に振り込んだ分は戻せばいいんだけじゃ?
「残高不足の口座から10万円払い出して」→不足分は自動貸付扱いにすればいいだけじゃ?
とか思うんだけど、ダメなんですかね。
いやもちろん貸付にしたら回収の手間が増えるってのはあるわけですが。貸付金の回収は通常の業務フローだろうから
大騒ぎするようなことでもないんじゃないかなあと。
# 約款とか法律とかいろいろあって、日本ではそういう体制に出来ないのかなあ、という気はしてますが。
Re:どこで引っ掛けるかだよね （Re:電波原因予想 (スコア:1)
>「残高不足の口座から10万円払い出して」→不足分は自動貸付扱いにすればいいだけじゃ?
>とか思うんだけど、ダメなんですかね。
「二重振込されて、更に2回目に残高不足になってたから自動貸付扱いになってしまい、気がついたのが翌月以降だったりするとどうなるんだろう」と思ってしまった。
普通の会社員とかだったら、給与とか入金されて残高回復するから問題ないかもしれんが、貸付の利息とか付いちゃうと、ちょっと問題だよね。＾＾；
結局手作業でエラー処理することになるので、それなりの業務負荷を見込んで考える必要があると思うんだよ。ウン。
Re: (スコア:0)
> 今はどうか知らないけど、数年前はUSの銀行では電信振込は2-3日かかるのが普通で、でも別に困らなかったなあと。
それは今まで小切手ベースだったからそんなものだと思えるわけで。
「USでは計画停電なんか当たり前」とか言われても、すでに過剰なまでに高品質な電力供給が実現していた日本では東日本大震災クラスの天災にでも見舞われない限り、とうてい受け入れられなかったわけです。
Re: (スコア:0)
> 口座開設時（もしくは、口座への振込み広報前）に、リミット以上の振込になるのはほぼ間違いなかったんだから
はいはい、結果論、結果論。
Re:どこで引っ掛けるかだよね （Re:電波原因予想 (スコア:2)
なにいってんの？結果論の話してんだよ？
「上手くいかなかったけど、全部は締めらんないよね」
「じゃあ、口座開設かその口座使って募金呼びかける前に引っ掛けたら良かったんでは？」
「その次のポイントは、バッチを切って手動にするとこかな」
って話は、そのポイントで今現在はチェックできてないのを直せば、次から同じことは起きなくなるのでは？って対策案の話なんだから。
# その時最適な手順を踏んだから何とかなったってのと、次からどうすべきかは別ってワザワザ書いたのに:-P
んで、 (#1962250)のAC発言は「口座開設時(or 募金開始前)のチェックが入ってても上手くいかなかったんでは？」って話でしょ。
するってえと、PDFにある対策案のA～Fのうち、対策済みのA,Bは意味が無いって事になる。
# Aは「大量取引が想定される口座への手続見直し・管理・徹底」
# Bも「大量取引発生の可能性がある口座について（以下略）」と、想定できる前提。
Fの「手動運行とせざるを得ない場合の対応」で、次からも同じことが起きないようにするんでないかなー
***
まあ、正直「システム障害に伴う役員処分」でなんとかなるなら、（実質的に）意味のある対策しないってのも手ではあるよね。
悪魔の計算じゃないけど、めったに起きないことにコストかけて対策取る意味があるかどうかは判らんし:-P
# だから、障害対策っていうよりは信用対策じゃないのかなこれ。
Re:電波原因予想 (スコア:3, おもしろおかしい)
「これ、時間内に処理が間に合わない可能性もありますよね？ その場合の落としどころの検討なんですが…」
「間に合うようにしてください」
「えっ」
「えっ」
#銀行に限らずよくある話
Re: (スコア:0)
> 「全ての発生しうる事象に対して、完全な対策を取れ」
高さ15ｍの津波とか?
Re: (スコア:0)
巨大隕石の落下とか
Re: (スコア:0)
それは信頼し過ぎなんじゃ・・・
銀行統合に伴うシステム統合に置いて
効率よりも、政治を優先して・・・という惨状が目に浮かびます・・・・
システムの作り直しが必要なんじゃないですかね。
Re: (スコア:0)
原発に対する現在の世論がまさにそういう感じですね。
＃原発は人命に関わるので同列に比較できないのは分かってるけど。
＃日本人が「他人のミスを許さない完璧主義」にまた一歩進んだ感は・・・
募金 (スコア:1, 興味深い)
大量の募金を呼びかけ銀行システムに想定以上の負荷をかけることを幇助したマスコミを、威力業務妨害として訴えることはできないのでしょうか？
#威力業務妨害幇助と書きたかっただけなのでAC
きっかけは、フジテレビ (スコア:2, おもしろおかしい)
# と書きたかっただけなのでAC
Re:募金 (スコア:1)
岡崎図書館では会社員が逮捕されたが、システム作った連中は責任逃ればかりしております
一方、きっかけを作ったテレビ局等は反省もせず、システム構築を行った方が謝罪を行っております
識者からすると同列に扱ってはいけない問題かもしれませんが
素人目からすると、運営者が意図していない負荷をかけ、業務に支障をきたしたという点では同じなのに、
この対応の差は何に起因するのか分かりません
Re: (スコア:0)
違いは岡崎の事件では「会社員が意図的に負荷をかけたのでは？」と疑われたことじゃないですか？
Re: (スコア:0)
権力の有無
そんなことも分からないのか
Re: (スコア:0)
電話網が不安定になってたので、ドラえもん募金は電話受付中止していますね。
でもみずほは不安定だけど募金受け付けたままでした。
性懲りも無く (スコア:1)
思考実験 (スコア:0)
ふむ・・・
つまりは、2000人規模ぐらいで、各口座間で相互に1円振り込み合戦を行うと、業務停止にはならないが、いろんな確認作業が発生するので、業務遅延とかが起こりえる、って感じですか？
Re:思考実験 (スコア:2)
まあ、普通に軽犯罪法の３１条（他人の業務に対して悪戯などでこれを妨害）に引っかかりそうですけどね。
ネタにマジレスは野暮ですが、ネットで同行同一支店内でやらないと現実的には出来ないので、その場合は途中でリミットかけられるんじゃないかなあ。
# みずほの他支店宛だと、2000件x105円＝21万円なので。
# ATMだと、そもそも1回1分以上振込作業にかかるので、24時間で1440回が上限だよね:-P
普通に考えたら、悪戯で1000回振込はできないでしょう。
個人でネットショップとかやってても1日1000件はいかないだろうし、まあまあ妥当な対策じゃないかなあ。
Re:思考実験 (スコア:2)
それとも同じ支店内のATMを使う必要があるのかな。
Re:思考実験 (スコア:1)
とりあえず条件明示しただけですな。
まず違う支店なら振込手数料かかるよね、そこをクリアしてもATMで1000件も振り込むの難しいよねって話で。
なので、ネット経由でやるしかないよねっていう。
ネタの思考実験としてもちと荒いかなあ、対策も簡単かなあという。
# 逆に言えば、実店舗のATMに9時間居座っても500回くらいしか振り込めないって言うところが律速なので、
# 解としてはみずほダイレクト用にスクリプト組むぐらいしか無いよねって言う:-P
単に業務妨害したいだけなら、2000人が同一支店に直接行って朝からずっと口座開設する、とかで十分じゃないかな。
迷惑だけど単に利用してるだけだから……いや、準備して呼びかけしたら捕まるか……
Re:思考実験 (スコア:1)
昔銀行の人に聞いた話を思い出しました。
その人も上司に聞いたということですが、他行のシステムが更新された時に、
部下にその銀行の口座を開設、即日解約させたらしいです。
目論見どおり（？）、システムが落ちたんですが、その部下が馬鹿正直に
行員寮である自宅住所を書いていて、抗議されたそうです。
# 冗談ですよ
-- う～ん、バッドノウハウ？
Re:思考実験 (スコア:1)
>行員寮である自宅住所を書いていて、抗議されたそうです。
偽名とか偽住所のほうが法的にやばいんじゃないか？
Re: (スコア:0)
その上司、エラい
Re:思考実験 (スコア:1)
ちなみに、みずほマイレージクラブの特典③が有効になってると本支店間も振込手数料が無料になるから
そういう人たちでやると、かなり広範囲にできるかと思われます。
/* なんだかんだと、すすむしかない */
Re:実証実験 (スコア:2)
誰かが呼びかけてやりましたよね。
そのときは、ターゲットはコンピュータシステムではなくて、窓口業務でした。
みんなで、窓口に並んで一円預金をするわけです。
預金を他行に移し換えるキャンペーンもあったので、賛同したのですが、次々に
銀行が合併したおかげで、その金は回りまわって、みずほ銀行に入っています。
Re:思考実験 (スコア:1)
ペニーオークションがもっと流行っていたら、銀行各社で業務遅延の阿鼻叫喚になっていたかもしれませんね。
Re: (スコア:0)
ペニオクっても，入札ごとに手数料の振込とかしているわけじゃないでしょう？
手数料はポイント制みたいなので，クレジットカード決算にも対応しているところが多いんじゃないかな。
# でないと釣れないだろうと…
Re: (スコア:0)
Re: (スコア:0)
その人がホントにアカウントもってたかどうかは知らんけど
Re: (スコア:0)
ただちに口座に影響はない