NICT の公開 NTP サービスで誤った時刻が 2 回配信される障害が発生。 41
ストーリー by reo
お世話になっとります 部門より
お世話になっとります 部門より
ある Anonymous Coward 曰く、
2011 年 1 月 23 日 (日)、独立行政法人情報通信研究機構 (NICT) が提供している公開 NTP サービスにおいて誤った時刻が 2 回配信される障害が発生した (NICT 公開 NTP のページより) 。
1 回目は 23 日 10 時 19 分 15 秒から 12 時 17 分 55 秒 、2 回目は 16 時 17 分 55 秒から 17 時 19 分 06 秒に発生し、サービスを利用しているコンピュータの時刻が 2009 年 9 月に逆戻りする事態となった。NICT は今回の障害の原因について、いずれの障害も停電に伴う機器の誤動作によるものと推測しているが、詳しい原因については現在調査中とのこと。なお原因が解明できるまで IX 系の運用を停止するとしている。
「IX 系」とは昨年 2 月に発表された JPIX 内に設置された NTP サーバの事かと思われる (NICT のプレスリリース) 。
IX系とは (スコア:5, 参考になる)
IX に置いてある ntp サーバということなのではなかろうか？
$ host ntp.nict.jp
ntp.nict.jp has address 133.243.238.164
ntp.nict.jp has address 133.243.238.243
ntp.nict.jp has address 133.243.238.244
ntp.nict.jp has address 210.171.226.40
ntp.nict.jp has address 133.243.238.163
ntp.nict.jp has IPv6 address 2400:3000:20:100::40
ntp.nict.jp has IPv6 address 2001:2f8:29:100::fff3
ntp.nict.jp has IPv6 address 2001:2f8:29:100::fff4
$ host 133.243.238.164
164.238.243.133.in-addr.arpa domain name pointer ntp-b3.nict.go.jp.
$ host 210.171.226.40
Host 40.226.171.210.in-addr.arpa. not found: 3(NXDOMAIN)
$ whois 210.171.226.40
(snip)
inetnum: 210.171.224.0 - 210.171.226.255
netname: JPIX
descr: Japan Internet Exchange Co., Ltd.
(snip)
Re:IX系とは (スコア:5, 参考になる)
のようにプリフィックスの異なるアドレスを混在すると、設定方法を教えてください。 [nict.go.jp]のntpd の場合 (Linux や FreeBSD など)の通りに設定してもラウンドロビンしません。
これはntpdが呼び出しているgetaddrinfoの仕様です。しかも192.168/16で運用しているネットワークからは常に近い方の210.171.226.40を参照してしまう。
今回の騒動で210.171.226.40は現在外されているようですが、このまま復活させないで欲しいです。
Re:IX系とは (スコア:1, 参考になる)
私の場合
210.171.226.40
がどうしても邪魔なので、
ではなくて
を指定しています。こうすると、常にIX系は無視されますよ。
Re: (スコア:0)
だけ無視した実装にする訳にはいかないのかなぁ？＞getaddrinfo()
Re: (スコア:0)
server ntp1.example.com
server ntp2.example.com
server ntp3.example.com
のように、それぞれの個別のNTPサーバに対応するホスト名を記載するべきです。
ntpdは、複数のNTPサーバから得た時刻情報のうち、他のものと異常にズレていたり
遅延が大きいものは同期対象から外します。3台以上設定しておけば、
今回のように1台が狂っても他の正しく動作するサーバに同期するので、今回の
ようなケースでも問題は回避できたはずです。
Windows端末のようなSNTPクライアントは、どうしようもないですね。
運悪く変なサーバを掴んだらそれまでです。
上記は利用者側
Re:IX系とは (スコア:2)
Windows Time サービスが SNTP を使っていたのは Windows 2000 までです。 Windows XP と Windows Server 2003 からは NTP を使っています。
@IT の記事「Windows ネットワーク時刻同期の基礎とノウハウ 第 1 回 Windows OS における時刻同期サービスと NTP [atmarkit.co.jp]」 (小鮒通成さん) を参照のこと。
Re:IX系とは (スコア:1)
＞Windows端末のようなSNTPクライアントは、どうしようもないですね。
一応、Windowsの場合でも、今回のような年単位のズレの場合は大半の設定だと異常値としてスルーされるかと。
# AD組んでるとまた違いますので、ADサーバーが無条件に同期してたら不味いですが。
他のSNTPクライアントでも今回のような過去に戻る方向の場合はスルーするかクロック刻みを弄って進行を遅くする実装の物もあるかと。
How to configure an authoritative time server in Windows XP [microsoft.com]
時刻が大きく変更されないように Windows タイム サービスを構成する方法 [microsoft.com]のスタンドアロンの項参照。
Re: (スコア:0)
> Windows端末のようなSNTPクライアントは、どうしようもないですね。
w32tm /config /manualpeerlist:"ntp1.example.com,ntp2.example.com,ntp3.example.com"
分かりやすく言う (スコア:0)
NTPがもっと重要になる日は来るんだろうか？
Re:分かりやすく言う (スコア:1, 興味深い)
想像ですが、停電で一時シャットダウンしたら、サーバに搭載の電池が切れていて
内蔵時計がリセットされちゃった。
サーバ起動後も、ntpdateとかで初期同期をしておらず、nptdなんかでしか時刻合せ
していなかったが、リセットされた内蔵時計の時刻とntpで上位のntpサーバとの
時間が大きく違っていたため同期されなかった。
というオチなのでは？
2009年9月になるというのがわからないけど。
NTPは認証とかで、重要に使われてるところもありますよね。
金融系も必須でしょうし。
Re: (スコア:0)
説明が足りなかったな
ユーザーから見たら、NICTのサービスを使っていたのに、NTPが狂った時刻を配信してきたよ～という毒です(毒＝NICT)
信頼あってこそのサービスの信頼がなかったら、お勝手サービスになります。
個人レベルだから影響なかったけど、おっしゃるとおり、重要なところもあるし、他のスレでもあるように実害出てるところもあるらしいけど。
Re: (スコア:0)
stratum 1のNTPサーバ障害の原因が
> ntpdateとかで初期同期をしておらず、
> nptdなんかでしか時刻合せしていなかったが、
> 上位のntpサーバ
ってのが笑うところ？
> というオチなのでは？
オチてないようです。ネタのつもりならもうちょっとひねってください。
問題ない (スコア:0)
こんなに大きくずれていたら、普通は無視されるから平気でしょ？
Re:問題ある（デフォルトでは） (スコア:5, 参考になる)
Windows Server（2003 SP2）のADで影響がありました。
特定のDCのみ時刻が大幅にずれ、そのDCでKerberos認証が失敗してくれました。。。
※イベントログのディレクトリ サービス でNTDS Replication のエラー（イベントID:2042）が頻発します。
修正方法は
・時刻がズレたと思われるDCを確認（イベントログの日付がおかしくなるはず）
・他のDCでrepadmin ツールを使って該当DCの確認、DC情報の消去を行う
・正常なDCからrepadmin ツールで複製を実施
・念のためFile Replication Service を立ち上げ直して、DC間で同期が取れているか確認する
・（可能であれば）再起動を行い、問題がないことを確認する
で何とか回復できました。
で、問題は時刻が大幅にズレることです。
どうやらWindows系ではレジストリを変更しない限り、デフォルトでどこまでも変更（！）するようです。。。
時刻が大きく変更されないように Windows タイム サービスを構成する方法
http://support.microsoft.com/kb/884776/ja [microsoft.com]
によると、
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config
の
MaxPosPhaseCorrection
MaxNegPhaseCorrection
の値を 0xFFFFFFFF から 0x0002a300（48時間）とするのが推奨されています。
以上、今回トホホ経験値を積んだ管理者のたわごとでした…
Re:問題ある（デフォルトでは） (スコア:2)
Re:問題ある（デフォルトでは） (スコア:1)
あれ？MaxNegPhaseCorrectionとかってデフォルトで無効でしたっけ？
まぁうちだとxntpなunixサーバー立ち上げて自宅の機器は
そこに向けてるので影響は皆無でしたが
ほとんどの使ってる人は直接見てるだろうしなぁ
Re: (スコア:0)
デフォルトで有効になってます。
times.windows.comがズレたら…怖いですね
Re: (スコア:0)
Re: (スコア:0)
そういえばMacのデフォルト、 time.asia.apple.com が2時間ぐらいずれた事件もありましたね。
そのときは、 jp.pool.ntp.org にかえましたけど。
# 未だにfukuoka-uとか候補に出してくるのはどこのディストロだ
Re:問題ある（デフォルトでは） (スコア:1)
MaxPosPhaseCorrection・MaxNegPhaseCorrectionが48時間になってるのって
Windows2008からなんですね
Windows7は設定&未設定のどっちに振られたんだろう
Re:問題ある（デフォルトでは） (スコア:2)
手元のWindows7で、HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\W32Time\Configを見ると
MaxNegPhaseCorrection：0xd2f0(54000)
MaxPosPhaseCorrection：0xd2f0(54000)
となってますね。変えた覚えはないので、多分これがデフォルト値だと思います。
Re: (スコア:0)
Windows7（ドメイン未参加）でレジストリを確認してみました。
こちらは 0x0000d2f0（540000）となっており、15時間しか許していないようですね。
確認していませんが、2008R2もそうなっているかと思われます。
Re: (スコア:0)
そんなログがイベントビュアーに残ってました。
ADだとクライアントPCがサーバーの時間と同期してくれるという便利な機能があるので
ファイルの更新履歴は変になるし、gmailの認証日付がおかしいとか言われるし、PCの日付見てるアプリは動きがおかしいし、酷い目にあいました。
Re:問題ない (スコア:2, 参考になる)
一部ネトゲで影響があったみたいです
http://aion.plaync.jp/board/notice/view?articleID=661&page= [plaync.jp]
Re:問題ない (スコア:1)
影響でるってどんな運用してたんだろう
ここまで狂えば通常は補正動作止まるはずなのに
xntpとか使わずにntpupdateで強制補正？
Re:問題ない (スコア:2, 参考になる)
アプライアンスサーバだったりするのかな？
しかし、それでサービスに支障が出るようなら内部のサーバ見させたりするくらいはしとけ、とは思うけども。
ちなみにntpdは1000秒以上違うとエラーになる。
http://www.jp.freebsd.org/cgi/mroff.cgi?subdir=man&lc=1&cmd=&a... [freebsd.org]
Windowsもドメインに参加してたらドメインコントローラーに合わせるが、そうでなければ48時間以上は無視する。
http://support.microsoft.com/kb/884776/ja [microsoft.com]
というか大概time.windows.comのままだろう。
Macは知らんけど、同じようなものだろう。
ちなみにちなみに、ノートンは日付が大きく変わるとネットワークを遮断することがある。
たしか、証明書の有効期限が切れるとバイナリ検証できないからだった気がする。
Re:問題ない (スコア:1)
ちょこっと調べたらWindows系の桜時計とかあの手の奴は
強制的に変更するだけっぽいですね
サーバーに使うもんじゃないと思うけど
Windows標準のW32TimeもMaxNegPhaseCorrectionとかはドメイン参加して無くても有効だったはずなので、それぞれOS標準のを使っていれば
自分で無効にしない限りはここまで狂うと補修正しないはずなんですけどねぇ～
Re: (スコア:0)
> ちょこっと調べたらWindows系の桜時計とかあの手の奴は
> 強制的に変更するだけっぽいですね
いまだに桜時計とか使ってる奴ははっきり言って老害なので、とっととアンインストールしておとなしくw32time使っとけと言いたくなるな。
Re:問題ない (スコア:1, 興味深い)
時刻の設定画面でntpサーバー名だけ入力できるが、なぜ詳細を設定できないのかと
Re: (スコア:0)
> 未だにntp関係の設定画面をつけないMSにも問題があると思う
おや？
> 時刻の設定画面でntpサーバー名だけ入力できるが、
ついてるじゃん。
> なぜ詳細を設定できないのかと
sntpなんだし、サーバ名が設定できれば十分じゃん。
Re:問題ない (スコア:1)
ワークグループでは更新間隔にSpecialPollIntervalを使うけど、初期値が7日間で、状況によっては無視できないズレが生じる。
気にしない人はそのままだろうけど、そういう人はntpサーバーを変更しないと思うし、そういうものがあるとも思わないんじゃないかな。
でntpサーバーを変更する人はSpecialPollIntervalも変更すると思うけどレジストリ操作は面倒だねって話。インストール時に一度しか触らないんだけどね。
Re: (スコア:0)
> sntpなんだし、サーバ名が設定できれば十分じゃん。
XP以降はntpだったような気がする
Re: (スコア:0)
PCの時計って結構ずれますよね。
PCの時計の値を時刻として表示するアプリで0.5秒ずれるだけで文句言ってくる環境があるんですが、
やむなく桜時計で10分に１回とかの間隔で同期とってたりします。
普通はそこまで気にしなくて良いんですけどね。
Re:問題ない (スコア:1)
時刻がずれてると判断するのなら、何らかの方法で正しい時間を知っているわけですよね。
・「正しい時刻」を知る手段がNTPサーバーへの時刻問合せなんですかね?
・だったら時刻合わせまでしてくれてもいいような気がするんですが
どうして文句言う(エラーを出す?)だけなのかな。中途半端すぎる。
・ネットワークにつながっていない場合、どういう挙動をするのだろう。
(起動できないとか正しい時刻が不明とかのエラーを出す?)
・嘘の時刻を出すNTPサーバーをローカルに作ってその時刻情報を
PCに食わせるとやっぱり騙されてくれるのかな。
それともどこかのNTPサーバーを決め打ちで参照しているのかな?
てな感じで割と変に興味を引かれました。
Re:問題ない (スコア:2)
想像ですが、時計が進む方向にずれるので、
時限ライセンスの製品が、
時計を戻したことを検出して怒るじゃないですかね？
Re:問題ない (スコア:1, 参考になる)
うそ書いてましたね。
#189359 [srad.jp]で出てるけど、ドメイン構成してるとクライアントだけじゃなくサーバ(DC)も無制限に合わせるらしい。あと、スタンドアロンだと48時間じゃなくて15時間。
まとめると、
・ドメインに参加している場合(DC含む)
XP, 2003（とおそらくVista）は無制限(0xFFFFFFFF)、2008は48時間(172800秒)、7は不明
クライアントはDCに合わせる。DCの規定値はtime.windows.com？（未確認）
・スタンドアロン
XP, 2003, Vista, 7は15時間(540000秒)、2008は48時間(172800秒)
いずれもtime.windows.comに合わせる。
※Vistaと2008は未確認
Re: (スコア:0)
専用ハードウェアのようですね。
http://www2.nict.go.jp/w/w114/tsp/research/PDF/pdf1.pdf [nict.go.jp]
http://www2.nict.go.jp/w/w114/tsp/research/labo3/nict.pdf [nict.go.jp]
なんか障害発生時間帯に特定のビットパターン？ないけ？
> 障害１回目 10:19:15-12:17:55
> 障害２回目 16:17:55-17:19:06
時間が大幅にずれると (スコア:0)
これが原因か！ (スコア:0)
某ネットワークカメラの時刻をこちらのNTPで同期させてたけど、
録画データの確認をしたらどう考えても残ってるはずのない2009年の記録が出ていて不思議に思ってた
さっきからSEIKO の電波腕時計の時間が合わないけど (スコア:0)
電波時計はJJYを使用しています (スコア:1)
電波時計は日本に数カ所設置されているJJYの送信局からの電波を受信しています。
送信局はNTPなどを元とした時刻ではなく、それぞれセシウム原子時計を使用しているそうなので影響はありません。