NTT東日本「フレッツ」全サービスに障害発生中(首都圏以外) 101
ストーリー by GetSet
慌てず続報を待ちたい 部門より
慌てず続報を待ちたい 部門より
Anonymous Coward曰く、
NTTPCによると、NTT東日本の首都圏(東京、埼玉、千葉、神奈川)以外の広範囲で「フレッツ」全サービスに障害が発生している模様。(参考:故障情報/Internet Watchの記事)
どうも、各拠点でPPPoEの認証エラーが発生しているようです。発生時間は「2007.05.15 18:44」からとのこと。
原因は、ルート情報のオーバーフロー (スコア:5, 参考になる)
「5. 原因 IP伝送装置(弊社ビル内に設置しているルータ)のハード故障に伴うパッケージ交換により、弊社IPネットワーク内の全IP伝送装置で、ルート情報の自動書き換えが行われますが、この際、処理可能な量を超えるルート情報が発生したため、連鎖的に多くのIP伝送装置において、処理能力オーバーとなり、IPパケットの転送処理を自律停止したものです。」 ということらしいですね。
Re:原因は、ルート情報のオーバーフロー (スコア:1)
# 他人事なのでID
Re:原因は、ルート情報のオーバーフロー (スコア:2, 参考になる)
今回の故障でばたついちゃったらそこであふれたってことじゃないですか?
さすがに、全国の全部のルーターにfull route持たせることは
しないでしょうから(笑)
softwareによってmemoryの持たせ方とか違ってて
new versionなsoftwareだと、15k経路でも問題なくなってる
っていうお話なんですよね。
software upgradeがworkaroundの1つだろうけれども
機器をupgradeするか経路を減らす努力をするかは
中の人ががんばらないといけないってことですね。
がんばってください>中の人
久しぶりに早く帰宅できた (スコア:4, おもしろおかしい)
やっぱり地域IP網がアレなんすかね。 (スコア:3, 興味深い)
なんでも、ALL.Netは足回りにBフレつかうんだそうで(聞きかじり)。
ネットワークに接続されていないとどうにもならんゲーム [wikipedia.org]は、電源が落とされてました。
オフラインでもなんとかならんこともない [wikipedia.org](けど、かなりしょんぼり)のは、退縮運転。
麻雀とガンダム(カードゲームとポッドに入る奴)とアイドルのとカジノは未確認。
地域IP網を使わない接続サービスはどんな状況なんでしょ。
東京も出ました (スコア:2, 参考になる)
故障発生のお知らせ(東京都エリアの一部) [flets.com]
HIRATA Yasuyuki
札幌はつながってません。 (スコア:2, 興味深い)
Re:札幌はつながってません。 (スコア:1)
確かに夕方からフレッツスクウェアを含むPPPOE接続が出来ませんでしたが、てっきり交換局までの障害かと。
フレッツ網自体が落ちてたんですね。
光電話は引いてないので確認できませんでしたが、光電話も落ちたとしたらかなりまずいですねぇ。
Bフレの契約取るのが今の仕事なので明日以降クレームにならないことを願うばかりです・・・。
Youthの半分はバファリンでできています。
Re:札幌はつながってません。 (スコア:2, 参考になる)
明日の御幸運をお祈りいたします。
GUST NOTCH な気分でいこう!
Re:札幌はつながってません。 (スコア:3, 参考になる)
すぐに主だった客先へは連絡を回したところ、いつまで経っても電話に出ない。おかしいなーと思ったのですが…、
ひかり電話を使ってました...orz
普通に呼び出し音が聞こえるので、しばらく気づかなかったよ。
その後、所用があって外出し、会社に戻った 21:20 には接続できました。ついこの間、客先にひかり電話を3回線入れたのですが、念のためにISDNも1回線追加してもらって良かったです。
Re:札幌はつながってません。 (スコア:2, 参考になる)
あわわ、ウチと同じ状況。
ひかり電話怖いわー。アナログ回線もまだ残っていたのでなんとか。
Re:札幌はつながってません。 (スコア:1)
ネットがつながらず「おかしいな?」とおもってルータの電源を入れなおしたら
そのまま電話も死亡、というパターンもありえそうですね。
つながっているところはOKですね (スコア:2, 参考になる)
16日2時からメンテナンスがあるんですがこれはどうなるのか心配。
メンテナンス工事のお知らせ(東京都エリア全域)
http://flets.com/const/nw_m_tokyo_07093.html [flets.com]
Re:つながっているところはOKですね (スコア:2, 興味深い)
との工事情報があって待ち構えていましたが
とうとう停止はありませんでした。
今回のゴタゴタでメンテが先送りされたのかもしれません。
Re:つながっているところはOKですね (スコア:1)
(予備回線として確保していた100Mのニューファミリーは無事だったのでメールはなんとかなった)
# だから通常の電話回線を1本でいいから残せって、言ったのに……
notice : I ignore an anonymous contribution.
PPPoE認証ということは (スコア:2, 興味深い)
BASはいまだに発展途上で安定してないんで他の通信事業者も苦しめられてますね。案外脆いもんです。
# 元中の人なので絶対AC
BRASは無罪 (スコア:2, 興味深い)
東日本全域(のぞく首都圏)で影響があるって時点で伝送レイヤのルーティング情報不具合を疑う
べきではないかと。私は中の人ではありませんが。(元中の人でもありません。)
BRASは県ごとと東日本全体で構築しているケースと両方ありますが、今回はどちらにも繋がらない
状態になっていたようなので。
これらの両方のBRASへ同時に繋がらないということが、1区間の伝送装置の不具合”のみ”で
起きることは非常に考えずらく、そこから推察すると妙なルーティング情報が地域IP網全体に
回ってどうしようもなくなったというのがあり得るシナリオでしょう。
最終報をみると、IP伝送装置(これはNTT用語なので、多分一般的に言うところのルータ^^;;)の
再起動をNTT各ビルで掛けまくって回復したということになっています。
これは、根底原因がわからなかったけれど、一時避難的に直りそうだからやってみた、という
お話だと思います。根底原因が頻発するものであれば、これまでの大規模故障と同じように明日
以降も再発するでしょう。
根底原因として、地域IP網無いのルータのファームウェアに爆弾^^;;が入っていて、版数更新後
しばらくすると不具合がでてしまう、などといったものが考えられます。
(もちろん、元コメント者のおっしゃるように、BRAS(のソフトウェアの版数更新)が引き金になって
る可能性も考えられますが、役割やひかり電話まで不具合が波及しているところからみて、ちょっと
違う気がします。)
早く原因追及できればいいですね....。
まぁ全域ってことは (スコア:1, 参考になる)
フレッツ網なんか地域回線を幹線でまとめて処理する場所があるので
おそらく大元の交換機が落ちたんだと思います。
(落としたんだけど復旧後再度問題が発生したパターンだと思う)
西日本でもだいぶむかしに、似たようなトラブルにあいました。
(中の人に直接話が聞けるチャンスが別の機会にあったので聞いたことがあるし
その当時のトラブルには遭遇しました)
各経路上の交換機が止まると下記のような現象になったとおもう
1、回線接続時の認証が極めて不安定
2、Ping程度の通信だけが通る。
当然、ネットで各プロバイダーの保守情報にはたどり着けない人が
多いはずなので、NTTやISPのTEL番号はメモしておいた方がええです。
ただ、事故直後からしばらくはプロバイダーに事故情報が行かないので
直後にプロバイダーに電話しても「?」ってな会話になります。
その後、NTTに電話をかけてもつながりません、、、、NTTの保守電話自体の回線もパンクしますので
Re:BRASは無罪 (スコア:1, 興味深い)
よく考えたら、ルータでなくてL2スイッチの可能性もありました。。ま、どっちでも大差ないですが。
他の枝になりますが、”大元の交換機がこけたのでは?”というリプライが
あるようですが、フレッツ網ではBRASが交換機相当なのですよ。(←多少強引な表現ですが)
そういえば、フレッツISDNも不具合あったようで、こちらはBRASではなくRAS
接続になるのですが、その点からしてもBRAS説は弱そうです。
往年のAscend MAXとかですね。機種名で申せば。
さて、出勤。
全面回復(第7報) (スコア:2, 参考になる)
原因 引き続き、調査中です。
お客様からのお問い合わせ件数 約11,300件(5/16 0:30(午前)現在)
NTT東日本のWeb不通 (スコア:3, 参考になる)
Webサーバ側にコネクション切られてページが取得できません。
チャンス到来 (スコア:2, すばらしい洞察)
とりあえず (スコア:2, おもしろおかしい)
故障中なのでエッヂからです (スコア:1)
埼玉までは繋がるんですねえ。ああ、もうちょっと北上してくれれば栃木も繋がったのに……
Re:故障中なのでエッヂからです (スコア:1)
#会社はメガデータネッツなので無事でした。
GUST NOTCH な気分でいこう!
復旧しました (スコア:1, 興味深い)
Re:復旧しました (スコア:1)
Re:復旧しました (スコア:1)
Re:復旧しました (スコア:1)
自宅のあるあたりもほぼ同じ時期に復旧の模様。
GUST NOTCH な気分でいこう!
Re:復旧しました (スコア:1)
23:10:30頃かな。
やっと繋がったので巡回中。
こういう時の補償ってどうなるのかな? (スコア:1, 興味深い)
以前契約していたプロバで、 契約者が増えすぎて回線交換機だかなんだかの限界を超えたとかで、 接続できなくなったときは月額使用料が日割りで返却されたけど・・・。
Re:こういう時の補償ってどうなるのかな? (スコア:4, 参考になる)
24時間未満なので契約上、補償義務はなさそうです。
HIRATA Yasuyuki
記事予想 (スコア:5, おもしろおかしい)
技術記事なのてカタカナを多用して内容の薄い記事を掲載。
記事の最後で唐突に若者の右傾化を憂う。
翌日の天声人語で、ネットを停めたのは誰だ?という問いかけが載る。
毎日
風の息遣いを感じていれば大規模障害は防げたはずという論説記事を掲載。
ネット管理者がいいかげんな仕事をしているとの論を展開して、
管理者の逃散を促す。結果として、記事を書いた記者の家への回線が
不通のまま放置される。
読売
他人はさておき、自分が使えないことが許せないという個人的感情が
なぜか社会正義に反するという論調になった記事を掲載する。
後日、部外者には公開されていないはずの資料について
言及していることに突っ込みが入るが、とぼける。
日経
この障害が株価に与える影響を憂慮する記事を掲載する。
重要な情報は、記者が株を売買してから記事を掲載するので
掲載タイミングが他社とは微妙に異なる。
Re:こういう時の補償ってどうなるのかな? (スコア:1)
という下種の勘繰りをしてはいけないのですね。
GUST NOTCH な気分でいこう!
まさか (スコア:2, おもしろおかしい)
Re:こういう時の補償ってどうなるのかな? (スコア:1)
同じNTTですし、おそらく今回も似たような対応になるんじゃないでしょうか
Re:こういう時の補償ってどうなるのかな? (スコア:1)
Re:フレッツの月額使用料より (スコア:1)
ネットカフェなのにネットが繋がらんやないか(゚Д゚ )ゴルァ!!みたいなことにならないのだろうか。
Re:フレッツの月額使用料より (スコア:1)
店によっては「ネットに繋がらなくなっても返金しません」みたいなことを明記してるところもありますね。
まあ入店前から繋がらないのであれば入店時に説明してくれないと困りますけど…
BSデジタルのニュースで知った (スコア:1, 参考になる)
プロバイダのサポートにTelすることPM7。全く繋がらないし、途中から
「混んでます。暫く経ってからお掛け直し下さい」のNTTの恒例の輻輳アナウンス。
あ゛ーこりゃ本格的に駄目だなぁ‥との予感から、BSデジタルのデータニュースを
覗いてみたらNTTの回線障害という話が載ってたので初めて原因を知りました。
いや~初めてだ、BSデジタルのあのニュースがリアルタイムで役立ったの。
#天気予報は良く利用してますけどさ。
携帯電話用の障害情報ページ (スコア:1, 参考になる)
うちは埼玉なので今回は影響なしだったけれど
次に備えて携帯のブックマークに入れようと思ったら……ない
Re:携帯電話用の障害情報ページ (スコア:1, おもしろおかしい)
壊滅? (スコア:1)
調べてみたらパソコンからルータまでは正常に動作していることが確認できました。
ルータ以降に故障が起きているだろうなぁと、故障窓口に携帯電話から何度かけても話中。
・・・NTTの窓口もつながらないなんて、ひょっとして、NTT発足後最大の不通事件なんじゃ。(^^;
・・・緊急電話もつながらないと言うのは、電話としてはまずいのでは。IP電話化の脆弱性が露見しましたね。
・・・自宅のFlets光が止まっているのに、どうして書き込みできるのかはひ・み・つ。
Re:壊滅? (スコア:2, おもしろおかしい)
Re:壊滅? (スコア:1)
Re:各県の一部、、、 (スコア:1)
21:45更新の記事では23区を除く東京の「一部」でも発生中とか。
原因はいずれ日経ITProあたりが詳説してくれると思います。
(ひかり電話トラブル [nikkeibp.co.jp]でも厳しく追及してましたね)
# 自宅では他人事でも会社や取引先はNTT東にどっぷり依存。
# 明日に備えて今日は早めに寝よう・・・
匠気だけでは商機なく、正気なだけでは勝機なし。
Re:各県の一部、、、 (スコア:1)
地域網が完全に落ちてないのであれば、地域網間の通信経路が途絶えて(ルーター障害等)
ISPとの接続点が東京しかないプロパイダのみ障害となるとか考えられそうですが
各地域網に接続点を持ってるISPはどうだったんだろうなぁ~
しかしまた光電話障害か、NGNになると既存電話網もIP化されるって事だろうが...
大丈夫なのか?
Re:各県の一部、、、 (スコア:4, 参考になる)
しかしルーター障害で地域網内までダメになったのかー
障害原因がルーティング情報の過剰流入って事は
東京で使ってるルーターはルーティング情報の許容量が地方で使ってる物より大きかったので
障害にならなかったとかそんな話なんでしょうか..
まぁ障害原因対策はされたみたいだから、とりあえず再発はしないのかな
Re:そういえば (スコア:2, おもしろおかしい)
110にかけたのならかかっても間に合わなかったかもしれません。
命名 (スコア:1, おもしろおかしい)
回線の不良をラットと呼ぶことにします。
ちなみに落雷等による障害はピカーと呼ぶことにします。