パスワードを忘れた? アカウント作成
288750 story
ニュース

119番不具合の原因は人為ミス 46

ストーリー by headless
不要なケーブルは抜いておこう 部門より

Aluminum-Carbide 曰く

東京都内で1月5日に119番通報システムが停止した問題に関して、東京消防庁は7日に記者会見を行い、不具合の原因はLANケーブルの接続ミスによる人為的な障害だったと発表した。接続ミスは千代田区にある災害救急情報センターで発生し、ネットワークハブに1本のケーブルの両端を接続したため通信不能な状態に陥ってしまったようだ。(読売新聞の記事時事ドットコムの記事イザ!の記事)。

まさか、ブロードキャストストームでの障害とは……。想定外だった。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 以前、Trunkで接続しているHubの設定がおかしくなってしまって(まあ、人為的ミス)、ループしてしまった事がありました。

    気づくのに1時間くらいかかりました。多少通信できていただけに、原因究明が難しかった。

  • by chuukai (18189) on 2011年01月08日 3時55分 (#1885114) 日記

    構内情報通信網(LAN)ケーブルの両端が、誤って同じ接続機器につなげられていた。このため、回線内に大量のデータが蓄積され、基幹システムに障害が発生したという。

    ちょwおまww俺のトラウマwww

    • 最近は家庭用ハブでもループバック検知とかしますしねぇ...

      # 自分もやったことある、とうか試験でやったというべきか

      --
      M-FalconSky (暑いか寒い)
      親コメント
      • by elderwand (34630) on 2011年01月09日 13時10分 (#1885486) 日記

        昔はクロスケーブルでないとそういうことは起らなかったものだが。

        あ、何故かアップリンクが余っていてそこへ突っ込んでくれた人もいたっけ。

        「おめぇ、なんでこんなことするだ?」
        「ケーブルが余っとったもんで、差しとかなきゃもったいないかな?と。」

        #教訓、余ったケーブルはさっさと片付けましょう。あ、まだ転がっとる。

        親コメント
        • by Sukoya (33993) on 2011年01月09日 13時17分 (#1885488) 日記

          そして、予備回線のケーブルが引っこ抜かれると。
          いや、確かに予備ってタグが付いていて、ランプもついてないんでありますが。

          それは、当時の障害対策用の予備システム向けのケーブルでありましたorz

          親コメント
        • by kei100 (5854) on 2011年01月09日 13時21分 (#1885493)

          いや、ケーブル抜くより、空きポート側に蓋しておきましょう。あと、タグ。
          ソフト的に殺してもOKですが、出来ないハブの方が多いだろうし。

          # GbEでAutoMDI/MDI-Xが必須になった影響もあるのかねぇ・・・

          親コメント
          • by elderwand (34630) on 2011年01月09日 16時35分 (#1885564) 日記

            蓋ですか、、、

            「おーい、今度きたハブに蓋付いてないみたいだけど?」
            「あれ、そんなとこまでケチられてるんだ。そーいや、某大学では机のネットワークの口にガムを詰めてるって話があったよ、学生が。」
            「そんな、迷惑な。でも、隣同士の席でケーブル繋がれるよりはましかもしれないね」

            #よいこの学生さんはこれを読んで真似しないように。

            親コメント
          • by Anonymous Coward
            蓋するためにコネクタで埋めてたら
            「あれ?なんか変なの刺さってるけどこれなに?」
            って言われて外されてた。

            # 外す前に聞いてください
            • by kim339 (16339) on 2011年01月10日 7時37分 (#1885739) 日記

              蓋するためにコネクタで埋めてたら

               ちゃんと蓋と分かるもの(専用蓋あり)で蓋をしないとダメですよ。

               あと未圧着のコネクタは接点が押し下げられていないので機器側の接点に規定以上のストレスを与えることになります。
              (頻繁に差し替えることは無いのでしょうが、トラブルの原因になり得ます。)

               というわけで、大概の人は未圧着コネクタで埋められると「変なものが刺さっているけど?」と思うのではないかと。

              −−−−−
               もういいやIDで。 kim339

              親コメント
        • by Anonymous Coward

          むしろスイッチを箱に入れて鍵かけるなり、「管理者以外触るな、触って障害起こしたら責任取らせる」って張り紙付けておくなりして、エンドユーザが触れない状況にしておいたほうが安全な気がしなくもないです。

          触るなって明示しないと触っちゃう輩はどこにでもいるので。
          # サーバのコンセント抜く掃除のおばちゃん神話とかな!

      • by celtis (33470) on 2011年01月09日 15時50分 (#1885542)

        テレビのニュースでも見ましたが、会見で手にしている中継装置は日立電線の
        APRESIAっぽいですね。
        http://www.iza.ne.jp/news/newsarticle/event/accident/482065/ [iza.ne.jp]

        おそらくこの製品だと思われますが、仕様が確認できないのでループバック対
        策の可能なものかどうかは不明です。少なくとも死活監視はできるみたいです
        が、パケットの嵐で管理者への通報自体も埋もれてしまったのかもしれません。
        http://www.apresia.jp/products/ent/apresialight/apl210pd.html [apresia.jp]

        重要なインフラの監視用ラインは別に敷設&結線するのが定番だと思うのです
        が、そのあたりの情報を知りたいですねぇ。

        親コメント
    • Re:もういいやIDで (スコア:1, おもしろおかしい)

      by Anonymous Coward on 2011年01月09日 13時10分 (#1885484)
      新たなる掃除のおばちゃん伝説のはじまりです
      親コメント
      • by kujira090 (16707) on 2011年01月10日 2時31分 (#1885720) 日記

        自分が知ってるのはコレしかないかな。
        http://srad.jp/comments.pl?sid=217522&cid=638829 [srad.jp]

        #データセンターのスパイのひみつ道具に、LANケーブルが入る日も近いのかなあ。

        --
        #壮大なストーリ。空転するアイディア。
        親コメント
      • ・一日5トラブルは当たり前、半日で8トラブルも
        ・マシン起動直後のコード引っこ抜きを頻発
        ・掃除のおばちゃんにとって電源ケーブル引っこ抜きはの掃除の準備
        ・全ケーブル引っこ抜きも日常茶飯
        ・終業5分前、社員一人の状況から電源停止
        ・禁止マークがあっても余裕でケーブル引っこ抜き
        ・一回の掃除でケーブルが三本紛失
        ・掃除機のホースで空手の真似が特技
        ・掃除を始めるだけで早朝出勤社員が泣いて謝った、心臓発作を起こす課長も
        ・業務開始でも納得いかなければ再度掃除を開始し始めた
        ・あまりに掃除をしすぎるからスイッチを入れただけで業務を停止
        ・その掃除も電源トラブル
        ・社長を一睨みし

        • by Anonymous Coward
          毎日朝の決まった時間にサーバがシャットダウンする現象に悩まされていたところ、
          掃除のおばちゃんがUPSから掃除機の電源を取っていたことが発覚。
          電力不足でエラーになり、サーバをシャットダウンさせてた。
  • by Anonymous Coward on 2011年01月09日 14時04分 (#1885506)
    某メーカー系企業ですが、半年に1回はループで社内LANが落ちます。各々が中途半端にネットワークの知識がある分、末端で勝手にネットワークをいじったりってことが日常茶飯事なんですよね。

    ただ、何故かループを作っちゃだめという基本的知識が備わってないことが多いようです。家でループ作ってもなんともないから、会社でも… というパターン。残念ながら、会社のハブはバカなんですよ…

    仕事が嫌になってあえてループ作ってる人もいるんじゃないかと時々疑いたくなります。

    自分も、時々ハブをジーと見つめて、「ハッ」と、我に返ってみたりとか(汗


    他にもよくあるのが、DHCPサーバ機能オンにした状態のマシンを社内ネットワークに接続、サブネットが大混乱。

    そう言うのになると、「てめぇ勝手に許可取ってないOS入れてんじゃねぇ!」ってなって大ごとになってりしますが。
    • by Anonymous Coward on 2011年01月09日 18時39分 (#1885621)
      ユーザの悪意の有無に関わらず、イーサネットは簡単に落とす
      ことができるので、いろいろな人が接続する事務フロアネットワークは、
      データセンタネットワークとは違ったノウハウが必要です。

      ・802.1X認証は必須として許可した端末しか接続しない。
       802.1X対応しない機器が接続するポートはMACアドレス認証とする(可能なら別VLANとする)。
      ・スイッチは施錠されたラックに設置する。施錠ラックがなければ、
       せめて未使用ポートはshutdownしておく。
      ・ケーブルはスイッチから席まで、一本一本机まで敷設し、ユーザ自身が
       直接スイッチにケーブルを刺すようなことはしない。「島ハブ」は排除する。

      たしかにコストはかかりますが、ループ事件のたびにフロア全体の業務が止まる
      ことを考慮すれば必要なコストです。50人の業務を2時間止めれば100人時間ですから。

      まして止まれば人命に関わるようなネットワークなら、言わずもがなです。
      ちなみに、tagged VLAN, 802.1X、未使用ポートのshutdownは、記者会見で出てたスイッチの機種
      (Apresia Light210-PDと思われる)では搭載している機能です。宝の持ち腐れですね。
      親コメント
    • 末端のスイッチが格安なのに中途半端に機能がついているのが問題であって、
      どうせならAuto MDI/MDI-Xの認識を省いてしまえばいいのに。

      3Comのスイッチは、スイッチ同士を結ぶ時はクロスケーブルじゃないと
      繋がらなかったな。
      当時はなんでAutoで切り替えないんだよ、と思ったが、今となっては正しい
      設計だったのだと思う。

      そうでなければループ検知機能付きの高めのスイッチを大量導入しろと。
  • by Anonymous Coward on 2011年01月08日 16時11分 (#1885235)
    LANループさせてしまったのは仕方ないとしてなんでバックアップの立川まで死んだのだろう・・? そっちの方が問題だな。
  • by Anonymous Coward on 2011年01月09日 14時41分 (#1885521)
    間に沢山のハブが入っていると検出できないのかな。
    • by Anonymous Coward
      沢山っていくつよ。カスケード接続のこと知らないで言ってない? うちのはスイッチングハブだから大丈夫とか思ってたりするといろいろツッコまれそう
      • by Anonymous Coward
        たとえば100段くらい。
        スイッチングハブは今はストア&フォワードが主流なので、100段も経由すれば、それなりに遅延が生じますが、検出アルゴリズムによっては破綻するかもしれないよね?
    • by Anonymous Coward
      多段のループ検出にはスパニングツリープロトコル(STP)と言う専用のプロトコルが用意されています。法人向けスイッチにはほぼ100%採用されてるんじゃないですかね。初期設定じゃ恐らくオフになっているとは思いますが。

      100段なんて多段を試したことはありませんが、専用プロトコルだから、きっとやってくれるはず。多分。


      冗長構成とか、複数のインターフェースを一つにまとめて通信速度を稼ぐ技術など、物理的にループを作る構成が当たり前になってきてますから、1個設定をミスると大変ですよねぇ、最近。
  • by Anonymous Coward on 2011年01月09日 14時52分 (#1885523)

    ・悪意のある人がネットワークに障害を発生させることができるシステム・運用をしていた。
    ・許可を得ていない人間がケーブルの接続をできてしまう(以下略

    • by Anonymous Coward

      ケーブル接続に許可が必要なシステムってどう作るのかな?
      スイッチ一つひとつ全部鍵付きの箱に入れとくのかね…。
      鍵付きのUSBコネクタ(物理的に塞ぐためのもの)があったような気がするけど、そのRJ-45版を作って各ケーブルと空きポートに設置すればいいのかな
      # おしえてえらいひと

    • by Anonymous Coward

      よし、以後この様なことが起きないように全部無線にしよう

      • by Anonymous Coward
        そして給湯室で誰かが弁当を温めるたびに謎のネットワーク障害が……
  • by Anonymous Coward on 2011年01月09日 19時49分 (#1885640)

    ミッションクリティカルな施設なんだから、障害の影響範囲を極小化するように設計すべき。

    例えばエッジSWのユーザ利用ポートなら…
    ・BPDUガード有効とし、ループ検知時はポート閉塞すること
    ・AutoMDI-X無効とし、ストレートケーブルによるループ発生時にリンクアップ不可能とすること
     (島ハブ利用なら、それもAutoMDI-X無効化が可能な製品を選定する)

    #これで食ってる人なのでAC

  • by Anonymous Coward on 2011年01月10日 0時14分 (#1885693)
    ノ 俺も経験者www 社内の机の配置換えで色々差し替えしてたら繋がらなくなって、超あせってw 色々確認してたら「あ・・・・wwwwwwwwwwwwww 一般の会社ならそれでいいだろうけど、消防や救急、警察といったところでそれは駄目でしょうね。場合によっちゃ自分や上の人の首が飛ぶし、人命にだって影響でる。笑える話じゃない。 ちゃんと情報技術部がある企業ならLAN線にタグをつけて番号が対になるルータやPC以外には挿したら駄目!というルールがあるから、ルールで人為ミスないようにやらないとダメでしょうね。
    • by Anonymous Coward
      )ノはいっ! 客先でやった。スイッチ取かえたとき、古いのについているケーブルを良く考えずに全部はずして、新しいのと取りかえて、近くにあったケーブルを全部さしたらLAN全滅。死んでから復旧まで10分くらいだったので大事に至らず。とある一本だけさすとループするようになっていた。問題のケーブルを手繰っていくと壁の中に・・で、ケーブルに何か張って以後放置。その後、どうなったかはしらない。
typodupeerror

物事のやり方は一つではない -- Perlな人

読み込み中...