アカウント名:
パスワード:
エラーデータを弾く処理はともかく、エラーが頻発していたら警告を出すような処理があっても良さそうなもんでありますが。でも、後からデータを確認出来たということは、エラーデータとして横に避けておいて、手で確認する前提なんですかね。
国内だと、エラー判定したら大胆にそのままログを消し去るあるいは短期間しか残さないシステムが多くて、恐ろしい……
気象観測データは、異常があっても捨てないでしょう。通常は、観測値に対して品質管理Quality Controlを行い、品質管理情報を付加する。このQC情報をもとに統計情報としての採否を決める。QCの作業のコストを下げれば、統計に上がらない、日の目を見ないデータが増えることでしょう。
気象庁のQC気象観測統計の解説 [jma.go.jp]→「気象観測統計指針」抜粋 第３章 品質と均質性 [jma.go.jp]
文献測候時報第82巻 2015、観測データの品質管理強化と高度化の現状－気温に関する自動品質管理機能，対話的品質管理ツール，観測所運用記録情報の業務への利用－ [jma.go.jp]日本では、リアルタイムで自動の管理AQCを施し、その後準リアルタイムで人による対話的な品質管理HQCで洗い出す。いずれのQCでも、閾値、検出ロジック、現業ツール等の検討課題は多く、PDCAで改善に取り組んでいる。この報告では、航空機のブラスト、野焼き等のノイズの検出事例が示されている。
やはり、しっかりエラーも考慮した上で、人員を割いてデータ検証しているんでありますねぇ。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
ナニゲにアレゲなのは、ナニゲなアレゲ -- アレゲ研究家
エラーのしきい値 (スコア:1)
エラーデータを弾く処理はともかく、エラーが頻発していたら警告を出すような処理があっても良さそうなもんでありますが。
でも、後からデータを確認出来たということは、エラーデータとして横に避けておいて、手で確認する前提なんですかね。
国内だと、エラー判定したら大胆にそのままログを消し去るあるいは短期間しか残さないシステムが多くて、恐ろしい……
Re:エラーのしきい値 (スコア:3)
気象観測データは、異常があっても捨てないでしょう。
通常は、観測値に対して品質管理Quality Controlを行い、品質管理情報を付加する。
このQC情報をもとに統計情報としての採否を決める。
QCの作業のコストを下げれば、統計に上がらない、日の目を見ないデータが増えることでしょう。
気象庁のQC
気象観測統計の解説 [jma.go.jp]→
「気象観測統計指針」抜粋 第３章 品質と均質性 [jma.go.jp]
文献
測候時報第82巻 2015、観測データの品質管理強化と高度化の現状－気温に関する自動品質管理機能，対話的品質管理ツール，観測所運用記録情報の業務への利用－ [jma.go.jp]
日本では、リアルタイムで自動の管理AQCを施し、その後準リアルタイムで人による対話的な品質管理HQCで洗い出す。
いずれのQCでも、閾値、検出ロジック、現業ツール等の検討課題は多く、PDCAで改善に取り組んでいる。
この報告では、航空機のブラスト、野焼き等のノイズの検出事例が示されている。
Re:エラーのしきい値 (スコア:1)
やはり、しっかりエラーも考慮した上で、人員を割いてデータ検証しているんでありますねぇ。