アカウント名:
パスワード:
エラーデータを弾く処理はともかく、エラーが頻発していたら警告を出すような処理があっても良さそうなもんでありますが。でも、後からデータを確認出来たということは、エラーデータとして横に避けておいて、手で確認する前提なんですかね。
国内だと、エラー判定したら大胆にそのままログを消し去るあるいは短期間しか残さないシステムが多くて、恐ろしい……
気象観測データは、異常があっても捨てないでしょう。通常は、観測値に対して品質管理Quality Controlを行い、品質管理情報を付加する。このQC情報をもとに統計情報としての採否を決める。QCの作業のコストを下げれば、統計に上がらない、日の目を見ないデータが増えることでしょう。
気象庁のQC気象観測統計の解説 [jma.go.jp]→「気象観測統計指針」抜粋 第3章 品質と均質性 [jma.go.jp]
文献測候時報第82巻 2015、観測データの品質管理強化と高度化の現状-気温に関する自動品質管理機能,対話的品質管理ツール,観測所運用記録情報の業務への利用- [jma.go.jp]日本では、リアルタイムで自動の管理AQCを施し、その後準リアルタイムで人による対話的な品質管理HQCで洗い出す。いずれのQCでも、閾値、検出ロジック、現業ツール等の検討課題は多く、PDCAで改善に取り組んでいる。この報告では、航空機のブラスト、野焼き等のノイズの検出事例が示されている。
やはり、しっかりエラーも考慮した上で、人員を割いてデータ検証しているんでありますねぇ。
ロギング用のシステムでエラーと判定したらそこをわざわざ消す作りにしてるもんなんて見たことないですが、どこで使われてるんですかね。
そういうのは修正されている(した)から、今は問題ないと思いたいものでありますが。
ハード構成がチープすぎて、データ退避用の領域不足対策で、片っ端から不要データとして消していた……りする様な会社はありませんね。うん。
まぁどこにあるかは言えませんよねぇ
ほとんどが正常値でたまにエラー、ならこうぱっと考えると正常値用のストレージにそのまま残してフラグ立てるだけジャン的な気がするんですがわざわざ別に領域とってエラー値だけ移したうえでそこが狭くて困るなんてことがあるんですねぇなんかいろんな背景があるんだろうな
想定外の値はフィルタアウトしたり、サマリの対象外にしたり、いろいろ考えられそうだけどな。サーバーログなんかだといちいちそんなことはしないと思うけど、サンプル値収集系なら不思議でもないような。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ハッカーとクラッカーの違い。大してないと思います -- あるアレゲ
エラーのしきい値 (スコア:1)
エラーデータを弾く処理はともかく、エラーが頻発していたら警告を出すような処理があっても良さそうなもんでありますが。
でも、後からデータを確認出来たということは、エラーデータとして横に避けておいて、手で確認する前提なんですかね。
国内だと、エラー判定したら大胆にそのままログを消し去るあるいは短期間しか残さないシステムが多くて、恐ろしい……
Re:エラーのしきい値 (スコア:3)
気象観測データは、異常があっても捨てないでしょう。
通常は、観測値に対して品質管理Quality Controlを行い、品質管理情報を付加する。
このQC情報をもとに統計情報としての採否を決める。
QCの作業のコストを下げれば、統計に上がらない、日の目を見ないデータが増えることでしょう。
気象庁のQC
気象観測統計の解説 [jma.go.jp]→
「気象観測統計指針」抜粋 第3章 品質と均質性 [jma.go.jp]
文献
測候時報第82巻 2015、観測データの品質管理強化と高度化の現状-気温に関する自動品質管理機能,対話的品質管理ツール,観測所運用記録情報の業務への利用- [jma.go.jp]
日本では、リアルタイムで自動の管理AQCを施し、その後準リアルタイムで人による対話的な品質管理HQCで洗い出す。
いずれのQCでも、閾値、検出ロジック、現業ツール等の検討課題は多く、PDCAで改善に取り組んでいる。
この報告では、航空機のブラスト、野焼き等のノイズの検出事例が示されている。
Re:エラーのしきい値 (スコア:1)
やはり、しっかりエラーも考慮した上で、人員を割いてデータ検証しているんでありますねぇ。
Re:エラーのしきい値 (スコア:2)
ロギング用のシステムでエラーと判定したらそこをわざわざ消す作りにしてるもんなんて見たことないですが、
どこで使われてるんですかね。
Re:エラーのしきい値 (スコア:1)
そういうのは修正されている(した)から、今は問題ないと思いたいものでありますが。
ハード構成がチープすぎて、データ退避用の領域不足対策で、
片っ端から不要データとして消していた……りする様な会社はありませんね。うん。
Re:エラーのしきい値 (スコア:2)
まぁどこにあるかは言えませんよねぇ
ほとんどが正常値でたまにエラー、ならこうぱっと考えると
正常値用のストレージにそのまま残してフラグ立てるだけジャン的な気がするんですが
わざわざ別に領域とってエラー値だけ移したうえでそこが狭くて困るなんてことがあるんですねぇ
なんかいろんな背景があるんだろうな
Re:エラーのしきい値 (スコア:1)
想定外の値はフィルタアウトしたり、サマリの対象外にしたり、いろいろ考えられそうだけどな。
サーバーログなんかだといちいちそんなことはしないと思うけど、サンプル値収集系なら不思議でもないような。