東証の派生売買システムで障害、4時間取引停止

soara 曰く、

東京証券取引所の東証株価指数(TOPIX)先物や国債先物取引を行う派生売買システムで、7月22日取引開始直後から注文状況を表示できないトラブルが発生した。その影響で、9時21分から13時45分まで派生商品の取引を停止した。

東証は今回のトラブルの原因をつかみ対応を済ませたとして、7月23日は通常通り取引を行う。

NIKKEI NETの記事によると原因は、連休中のシステム改修適用の際、売買注文状況を示す「板」のデータ容量の上限を 2万銘柄とすべきところ、88銘柄に設定していたためとのこと。

これにより、板に89銘柄を超えた問い合わせがあるとシステムが停止してしまうというトラブルが発生していたということだ。なお、今回のシステムを開発したのは富士通で、状況によっては損害賠償の請求も検討するとのこと。

ちょっと違う

[Anonymous Coward]

>データ容量の上限を 2万銘柄とすべきところ、88銘柄に設定していた
データ容量のサイズが28000銘柄分のはずが88銘柄分しか確保できてなかった。

http://itpro.nikkeibp.co.jp/article/NEWS/20080722/311271/

Re:ちょっと違う

[hylom (27448)]

なるほど。データのサイズを誤っていたのですね。しかし、1280バイトのはずのデータを、4バイトに間違えるってどんなミスだよ……。

板情報を配信するプログラムは本来、1銘柄当たり1280バイトの作業用メモリー領域を2万8000銘柄分、合計3万5000Kバイト確保するよう記述しなければならない。だが、1銘柄当たりのメモリー領域を誤って4バイトとしてしまったため、プログラムは本来の320分の1の109.375Kバイトしか確保しなかった。結果として89銘柄以上の板情報の問い合わせが同時に発生すると、作業用メモリーが足りなくなり、情報配信システムがダウンした。

（東証のシステム障害、設定ミスをテストでも見抜けず：ITpro [nikkeibp.co.jp]より）

Re:ちょっと違う

[x-rebuttal (33869)]

sizeof(HogeHogeObj)を間違えてsizeof(HogeHogeObj*)にしたとかでは？

Re:ちょっと違う

[Anonymous Coward]

なんだかおなじような回答がわずかな時間差でいくつも投稿されてるてことは・・・
皆さん現役の方ですよね。世の中にはこの手のバグを飼ってるソフトが多数出荷されてるってことになりますか。

Re:ちょっと違う

[Anonymous Coward]

ふつうに 4byte というサイズになる原因として、ポインタのサイズが連想しやすいからだと思います……思いたいです。
同時に、東証のシステムが 64bit 化されていない事も推測できる、と ｗ

Re:ちょっと違う

[Anonymous Coward]

>でも、特に大きなシステムの場合、ソースコードを複数人で確認するはずで、

そんなプロジェクトありません(笑)

＃笑っちゃいけないところだけど。

Re:ちょっと違う

[C0FFEE (36377)]

>>でも、特に大きなシステムの場合、ソースコードを複数人で確認するはずで、

>そんなプロジェクトありません(笑)

一度に複数人で確認する事は無いけど、3ヶ月ごとに別の人がメンテする案件というのはありがち。

まあ、今回に限って言えば、いかにコーディングを正確に行ったかよりも、
境界値・例外値・適正値の検証不足が原因でしょう。
人の数より、質の問題。
一見コードは正しいけど、運用でコケるって類のミスを防ぐには、
PGが複数人居て見ても気がつきにくい、なぜなら業務のプロでないから。
いわゆるユーザー系SIであれば、業務にも通じている人間が常時いるけど、
大規模アプリの全モジュールをチェックできる人数抱えていない罠。

＃88銘柄にしろ28000銘柄にしろ、上限値を超えた時の例外処理にも問題があるように思える。

Re:ちょっと違う

[ksiroi (24990)]

技術力が物凄く高い奴が作ると故意の罠とか仕掛けられてそうで
それはそれで怖いですな。小説のネタっぽいですが。

あぁそうそう、そうですよだから僕は三流プログラマなんですよ！
決して怠惰で勉強してないわけじゃないんですよ！

Re:ちょっと違う

[taka2 (14791)]

> 1280バイトのはずのデータを、4バイトに間違える

sizeof(DataType) のつもりが sizeof(DataType*) になってたとか?

…っていうのは、やっちゃったことあります。マクロ化してて、引数の型を間違えたりとか…
#define alloc(type,count) malloc(sizeof(type)*(count))
DataType *p = alloc(p, count);
ってな感じのコードだったかな。

Re:ちょっと違う

[Anonymous Coward]

そのマクロ定義だと、たしかに起きがちですね。
そういう間違いを防ぐため、以下のようなマクロを使うことにしてます。

#define MALLOC1(p) ((p) = malloc(sizeof(*(p))))
#define MALLOCN(p,n) ((p) = malloc_array((n), sizeof(*(p))))

なお関数 malloc_array() 内では、整数オーバーフローのチェックが必要です。
親記事の alloc() マクロは、その点でも問題がありますね。

Re:ちょっと違う

[Anonymous Coward]

設定ミスってより、テストや品証のミスといいたくなるなあ。
これって最大値のチェックが抜けていたって事でしょ？
原因は確かに設定ミスだけど、この程度なら、ちゃんとテストすれば発見出来る障害だと思うんだけど。

Re:ちょっと違う

[tarosuke (2403)]

というか受け入れ試験はどこ行った？と。
受け入れ試験に「通って」て、悪意のある挙動でもないのに損害賠償ってのはなぁ...。
#「設定」だからオペミスの可能性もあるけどな。

Re:ちょっと違う

[albireo (7374)]

＞テストは本来、ミスをみつけるためのものじゃないし。

そうだとしても「テストの段階で発見できたかもしれないミス」だと思うぞ。

--
うじゃうじゃ

Re:ちょっと違う

[strict_ansi (2886)]

> しかし、1280バイトのはずのデータを、4バイトに間違えるってどんなミスだよ……。

構造体実体のサイズを使うべき所で、構造体へのポインタのサイズを使ってしまったのでは…。

typedef struct _Hoge   Hoge;
typedef struct _Hoge * HogeP;
struct _Hoge {
  char something[1280];
};

上記のような定義があって、
「sizeof (Hoge) * 28000」とすべきところを、
「sizeof (HogeP) * 28000」としてしまった…、に１票。

なぜ間違いが起きたのか

[hashitom (34540)]

元記事には誤って４バイトとしてしまったとあるだけです。それは
『エンジンが停止したので不時着陸した』
というのと同じで、なぜエンジンが停止したのか、とか、なぜ４バイトとしてしまったか
という原因の説明がありません。それ故の推測だと思います。

#大本営発表を鵜呑みにしないで自分の頭で考えよう。

Re:なぜ間違いが起きたのか

[hashitom (34540)]

なるほど、田鹿に仰る通りに思えます。ありがとうございました。

普通に考えれば

[blackdrug (13208)]

別の設定項目の変数が88という数字が入る予定で、
変更する変数を誤った、と考えるのが妥当でしょう

変数名が適当だったんじゃないのかな？

Re:

[Anonymous Coward]

境界条件のテスト・デバック用の(設定ファイル？)がそのままリリースされちゃったんじゃない？

試験のために

[bugbird (4706)]

上限数をわざと絞って、エラー処理の動作が所期の通りであるのを確認したのはいいけど、試験の後で本来の値に戻すのを忘れたとか。

--
--- Toshiboumi bugbird Ohta

Re:試験のために

[Anonymous Coward]

上限2万の最大値テストはしてなかったとしても、
たった89銘柄で落ちるってことは全然テストしてなかったに等しいでしょ。
東証は「丸投げしてて、うちにはテスト仕様書検査する人間すらいないんです、てへ」と公言した上で訴訟とかもうね。

Re:試験のために

[bugbird (4706)]

それって、東証は IT ガバナンスができてませんよ？　…だよねぇ。紺屋の白袴を地で行きますか（南無

--
--- Toshiboumi bugbird Ohta

Re:試験のために

[Anonymous Coward]

「上限数の事前テストはやっていない（だから事前に発覚しなかった）」と既に発表されていますよ．

「人為的ミスの可能性が高い」と言っているので，既に挙げられている「変数間違えちゃいました，てへへ」の可能性が高い気がしますね．

Re:試験のために

[bugbird (4706)]

フォローどうも。いやー、しかし…。絶句。

--
--- Toshiboumi bugbird Ohta

Re:試験のために

[tarosuke (2403)]

上限を絞るのは上限の設定に引っかかるかどうかの試験にしかならないので、それじゃ試験としてダメな気がする。
# 実際はどうなんだろ。

Re:試験のために

[bugbird (4706)]

おっしゃる通り、いわゆる「ストレステスト」が目的ということならば、上限値を絞るというのはテストにはならんですね。

で、納期的にゆとりがあれば、本当にシステムを壊しちゃう覚悟で（もちろん事前にバックアップを取っておいて復旧させる…　リストアのテストを兼ねることになるし）ストレステストをやることもあるんだけど、今時はそう云う時間とコストをかけにくいよね＜開発現場の事情

--
--- Toshiboumi bugbird Ohta

Re:試験のために

[s02222 (20350)]

そして試験だけじゃなく実地でもエラー処理が正常に動作することが確かめられてよかったね、と。

なぜ88か

[127.0.0.1 (33105)]

>なぜ88になったのかが気になる部門より．

Ω＜プログラミング担当者がエリア88のファンだったんだよ!!
ΩΩΩ＜な、なんだってー

#それはないだろ

Re:なぜ88か

[Anonymous Coward]

実はNECが送り込んだスパイが犯人だったから

また富士通か

[Anonymous Coward]

お取り潰しも辞さないと思うが、どうか

Re:また富士通か

[Ryo.F (3896)]

権限がない人が勝手に「思う」のは、なんら害がないので、まったくの自由。

Re:また富士通か

[Anonymous Coward]

いや、受け入れテストをした後に受領したんだからメーカーに損害賠償できないんじゃないの？
契約がどうなってるんだか知らんけど。

ってか、度々トラブってるから何とかイケニエをつるさないと東証自体がヤバいんでしょ。

Re:また富士通か

[marudiana (31904)]

ソフトウェアの契約だと瑕疵担保期間というのがあって、
その期間であれば、瑕疵に対する責任は発生するのが一般的な契約。
損害賠償もだいたい契約書に記載があって、上限はシステム価格までになってるのが一般的。
東証と富士通だったら2005年の前例 [nikkeibp.co.jp]や、今年2月の前例 [nifty.com]があるので、その前例にしたがって損害賠償はないんじゃないのかな。

参考：＠ITの検収と瑕疵担保期間の説明 [atmarkit.co.jp]
経産省のモデル契約書[pdf] [meti.go.jp]
システムダウンと損害賠償 [ntt.com]

Re:また富士通か

[tkx0226 (36610)]

そしてまた海外から失笑されるわけですね。

段々ぐだぐだになっていく日本

[Anonymous Coward]

東証なんかのコメント見てると緊張感ないなぁ。富士通も同じ感じかな。

投資家、つか海外機関投資家に見捨てられると言うか見捨てられつつあるって分かってるのかなあ。

富士通は取締役総退陣ぐらいのミスだと思うんだけど。

Re:段々ぐだぐだになっていく日本

[SteppingWind (2654)]

富士通の競合のSIerも, この機に乗じて食い込もうとする腹が無いんじゃないかな. 最近の大型システムでは, ハードの利益なんかシステム構築の失敗で簡単に吹っ飛ぶので, 顧客側の体制がダメだとWin-WinならぬLost-Lostの関係にしかならないんですよね.

それを知った上での相互なれあい体制じゃあないかと思うんですけど. 東証が事実上, 国内では独占しているので成り立つ図式じゃないでしょうか. というか殿様商売?

同意

[Anonymous Coward]

予の顔を見忘れたか？と言いたくなるような醜態

Re:同意

[youichi (329)]

開き直るのですね。わかります。

Re:

[Anonymous Coward]

アメリカなんかの方がもっとおおらかだって聞くけどねぇ。
銀行のオンラインとかちょっとダウンしたぐらいじゃ気にしないとか。

まぁ、証券市場じゃ洒落にならないかもしれないが…。

ミスがあったら叩くだけじゃ、よりいっそう萎縮するだけで意味無いですよ。
犯人捜しして袋だたきっていう日本人の悪癖は改めなきゃ。
ちゃんと原因究明と、再発防止のための「システム」を作る方向に向かないと、建設的とは言えません。

人間はミスをするって前提でシステム構築やテストを実施しないとね。
今回のも、えらく単純なケアレスミスだったじゃないですか。

※とはいえ、富士通はなー、とは思う…。どーせ下請けに丸投げじゃねーの？

Re:段々ぐだぐだになっていく日本

[Anonymous Coward]

百歩譲って、品質保証は99%でよしとすると定義したとしても、今回の問題が、残りの0.999%にカテゴライズされる性質のものだとは思えないのだが。

ここで社訓を

[SteppingWind (2654)]

社員が働かないのが悪い.

Re:段々ぐだぐだになっていく日本

[miishika (12648)]

秋草さんの例を見ると、不用意に退陣させたと思ったら「会長」で復帰される
可能性が高いので、慎重にならざるを得ないのでしょう。まるで成績不良の
高校二年生に「このままでは三年生に進級できないので自主退学したら」と
言ったところ「高校三年生になれないなら、飛び級で大学一年生になる」と
返されるかのようですが。

Re:段々ぐだぐだになっていく日本

[r5 (24383)]

＞そうではない理由は何でしょうか。

年金運用の大前提は、効率的市場仮説に従うことにあります。
つまり、世界市場をその比率で粛々と保持し続けることにあります。
あとは株式と債券の比率をコントロールすることです。

「過去100年のデータ」では、20年以上保持した場合、
株式が10%前後、債券は5%強のリターンになります。
(ただし、株式の短期的な変動は債券のそれよりも遙かに大きい)

5兆の赤字を出した時期のインデックスの騰落率を鑑みれば、
120兆分の5兆しか減じてないということは、あまりにも消極的な戦略であるといえます。
(特に日本国債を大量に保持していることはもっと責められても良い。)

詳細は「敗者のゲーム」とか、「ウォール街のランダムウォーカー」を読まれると良いかと。
お手軽にすませるなら「臆病者のための株入門」あたりを。

そっから先の戦略については省略で。

単なる想像だけど

[SteppingWind (2654)]

本来28000「レコード」の容量を確保するところを28000「バイト」にしちゃったとか. 1レコード318バイト(何かありそうな数字)とかだと計算が合いますから.

Re:システムが停止って？

[Anonymous Coward]

三重化してあります。でも全部バージョンアップしちゃった。てへっ

Re:システムが停止って？

[nim (10479)]

＞三重化してあります。

「鈴鹿サーキット」と「長島スパーランド」と「伊勢神宮」ですね。わかります。
あるいは「焼き蛤」と「松阪牛」と「真珠」か。

Re:システムが停止って？

[mari-nyan (35774)]

つまりこういうこと [srad.jp]でしょうか(ぉ

//自分の日記なのでID

Re:システムが停止って？

[OO (1361)]

何を言ってるのか理解するのに、１０秒ぐらい掛かった

>「焼き蛤」と「松阪牛」と「真珠」
「真珠」ではなく「赤福」でそろえて欲しかった

Re:システムが停止って？

[unchikun (14429)]

つまり三重化してもバグは残ると。

Re:お約束

[narunaru (30931)]

違約金？いくらでも支払いますよ。
受注金額の2倍でよいですよね？

はい っ①①

スケープゴートが真犯人とは限らない

[soltiox (25610)]

胸をなでおろすのは、早いかもよ