パスワードを忘れた? アカウント作成
9708488 story
ソフトウェア

スキャナで読み取った画像内の数字がランダムに置き換わる問題 75

ストーリー by hylom
心霊現象でも意図的でもない 部門より
guicho2.71828 曰く、

スキャナで文書を取り込むと、たとえOCRがオフでも、場合によってはランダムに数値が書き換わってしまうという問題が報告されている(Xerox scanners/photocopiers randomly alter numbers in scanned documents)。

この問題が報告されているのは、「Xerox WorkCentre 7535」などの機種。考察によると、画像圧縮に使われているJBIG2アルゴリズムに関係が有りそうだという。JBIG2はパターンマッチングを利用して圧縮効率を向上させているのだが、パターンマッチングに利用される領域サイズが画像中の文字サイズと同じぐらいの大きさになると、誤認識が発生して別の数字に「張り替え」てしまうらしい。

先の記事中では、「6」が「8」になったり、「14.13」が「17.42」になったりといった例が確認できる。対策としては高解像度にすること、あるいはTIFF形式で保存することが挙げられている。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2013年08月07日 8時03分 (#2436164)

    ザックリと要点だけ日本語訳してるサイトもあるのでリンク張っとく。
    http://dailynewsagency.com/2013/08/05/xerox-scannersphotocopiers-rando... [dailynewsagency.com]

    • 画像圧縮と展開の過程で画像が崩れるってんならよくわかるけど、文字が置き換わるってのはびっくり。
      今どきの画像圧縮は文字認識もある程度やっちゃうってことなのね
      まぁ、そのほうがデータが小さくなるのはわかります。

      でも、結果として誤認識が起きてるんじゃだめじゃんねぇ

      親コメント
      • で、会社にある複合機のうち、最も新しいリコー MP C5503 の管理コンソールにログオンしてスキャナの圧縮設定を見てみました
        MH、MR、MMR、JBIG2 の4段階が選べてデフォルトはMHでした
        さすがに MH は古いなと思ったので MMR (CCITT Group4)にあげておきました

        記事にある JBIG2 の問題は本当にアルゴリズムの問題なのか、それとも XEROX による実装によるものなのかはまだ分かんないんですよね?

        親コメント
        • by Anonymous Coward

          機種が限られている事から(とりあえず今のところ他メーカーの報告がない、ないだけかもしれないが)、
          実装の問題じゃないですかね?(OCRの実装精度の問題)

          とはいえ、そもそもJBIG2の規格自体にも無理ありそうですね。
          >原稿の内容を認識・パターンマッチさせ、文字や数字をくっきりさせる仕組みになっています。
          ってことは規格そのものが”OCRを含んでいる”って事で。誤認識でて当たり前のような。

  • 最近の情報 (スコア:5, 興味深い)

    by fcp (32783) on 2013年08月07日 9時24分 (#2436210) ホームページ 日記

    考察によると、画像圧縮に使われているJBIG2アルゴリズムに関係が有りそうだという。JBIG2はパターンマッチングを利用して圧縮効率を向上させているのだが、パターンマッチングに利用される領域サイズが画像中の文字サイズと同じぐらいの大きさになると、誤認識が発生して別の数字に「張り替え」てしまうらしい。

    タレコミの時点ではまだ出ていなかった情報だと思いますが、既にこの辺の推測は全部 Xerox 社の人が事実と確認しています [dkriesel.com]。また、スキャン品質の設定画面にも「文字が置き換わる可能性がある」という警告がある [dkriesel.com]ので、 Xerox の技術者には知られていた話です。なので、第一義的には、 Xerox 社のサポートが自社の製品のことをわかっていなかったという、サポートの質の問題です。あと、デフォルトの動作がこれでいいのかという点も問題ではあります。

    • by Anonymous Coward on 2013年08月07日 9時40分 (#2436224)

      >デフォルトの動作がこれでいいのかという点も問題ではあります
      一番の問題はここじゃないですかね。

      品質設定の画面に「文字が置き換わる警告」書いてあろうと、品質設定画面を開かずにデフォルトのまま使っていれば、
      「警告を目にすることがない」わけで。

      スキャン毎に警告するとか、マニュアルやチラシで「デフォルトだと文字が置き変わります」
      と書いてない限り目にする機会がない。

      親コメント
      • Re:最近の情報 (スコア:2, おもしろおかしい)

        by Anonymous Coward on 2013年08月07日 10時21分 (#2436247)

        品質設定の画面に「文字が置き換わる警告」書いてあろうと、品質設定画面を開かずにデフォルトのまま使っていれば、
        「警告を目にすることがない」わけで。

        スキャン毎に警告するとか、マニュアルやチラシで「デフォルトだと文字が置き変わります」
        と書いてない限り目にする機会がない。

        はは、やだなぁ、どこに書かれていようがわざわざ読むわけないじゃないですか。

        親コメント
        • by ukenerai (36532) on 2013年08月07日 15時05分 (#2436437) 日記

          スキャン結果に警告を表示すればいいんですよ。
          デフォルトは表示で、設定で消せるようにしておけば、
          消したユーザーの責任ということで。

          # 改変するな? いやいやFAXの出力に送信元の電話番号が表示されてるのと同じです
          ## ただそれでも読まないかもと言われたら同意せざるを得ない……

          --
          -- う~ん、バッドノウハウ?
          親コメント
        • by Anonymous Coward

          元※ですが

          読むわけないと”目にする機会がない”
          は全く別の話ですよ。

          「読むわけがない」-必ず目に触れる所にあるのに読まないのはユーザーの問題でユーザー責任。
          「目に触れる場所にない」-そもそものインターフェースの不具合という「また別のメーカの問題で責任」

          まぁ、書いてあっても読まないだろうと言うのは同意なんですがwwww

      • by Anonymous Coward on 2013年08月07日 12時50分 (#2436335)

        「文字が置き換わる警告」を出したとしても、
        文字が置き換わってしまうのは、製品としてありえないんじゃないかな。

        車で「ハンドルを右に切っても左に切れてしまう場合があります」って警告がある車なんて、製品としてありえないでしょ。

        親コメント
  • 自炊の危機 (スコア:4, おもしろおかしい)

    by Anonymous Coward on 2013年08月07日 9時43分 (#2436225)
    「ウォーリーをさがせ!」 [wikipedia.org]を取り込んだら、似ている奴のパターンでウォーリーが上書きされてしまい、永遠に見つからなくなるわけですね。
  • e-文書法 (スコア:3, 興味深い)

    by Anonymous Coward on 2013年08月07日 9時22分 (#2436209)

    「200 DPI PDF scans w/o OCR」 の条件で問題が起きることが確認できてるようですが、
    経産省のガイドラインが150dpi以上、財務省/国税庁のガイドラインが200dpi以上なので、
    この問題が発生しているケースが、かなりあるかもしれません。
    かなり深刻な問題として受け止めた方がいいかも。

  • by Anonymous Coward on 2013年08月07日 8時05分 (#2436166)

    8 になったり。
    近眼の眼も 2 になったり。
    それはもう大変です。

  • by Anonymous Coward on 2013年08月07日 8時10分 (#2436168)
    こういう記事を読むと、アナログの強さ(?)を再認識するよな・・・・・・
    違うか・・・・
    • TIFFとかの可逆圧縮フォーマットではおきないから、そういう問題じゃないよ。

      #いままでJBIGは可逆圧縮だと思ってたよ。(正確には可逆も非可逆もできる。)

      親コメント
      • by SigZ (37) on 2013年08月07日 9時26分 (#2436211)

        え、可逆もできるんですか? > JPEG

        今まで非可逆しかできないと思ってました。

        親コメント
        • by Anonymous Coward
          JPEG じゃなくて JBIG な
        • by Anonymous Coward

          今回のは別コメにあるとおりJBIGですが、
          JPEG自体には”可逆圧縮の規格もあります”

          http://ja.wikipedia.org/wiki/JPEG [wikipedia.org]

          ほとんどサポートされてるソフトないですが。
          JPEG圧縮で品質を設定出来るような画像ソフトでは最高品質の場合可逆JPEGを使ってたりします。

        • by Anonymous Coward
          普通のJPEGとは違うアルゴリズムの可逆フォーマットも定義されてるらしい。

          あと、いわゆるJPEGのアルゴリズムでも、なにをどれだけはしょるかはパラメータで設定できるので、
          全くはしょらないという設定にも出来る。

          計算誤差は出るかもしれないから、可逆とは言い切れないけど、
          積極的にデータを棄てて圧縮率を高めようという意味での不可逆でもなくなる。
      • by Anonymous Coward
        他の部分の画像と置き換えられてしまうという問題と、補正の結果がオリジナルと異なるという問題とは、全く意味が違うと思う。
  • by Anonymous Coward on 2013年08月07日 8時52分 (#2436185)

    多くの書類についてスキャンして原本捨てる運用をしているので、
    一応、DocuCentre-IV C2263で試してみたけど再現しなかった。
    (リンク先にあったpng画像をプリント、それをスキャナ。読み取り解像度を200dpiに落としてPDF形式で保存)

    • by Anonymous Coward

      これをスキャンして、原本を破棄しろ。
      それから、スキャン結果を破棄しろ。

      # 元ネタなんだっけ

  • by Anonymous Coward on 2013年08月07日 8時56分 (#2436189)

    まだPCがマイコンと呼ばれていた時代、紙に印刷されていたプログラムを必死で入力していたのですが、プリンタやフォント、印刷品質の問題から判読しにくいものはありました。(例えば Aと4、7と1、5とS や 8と6と0とOなど)

    でも、さすがに「14.13」が「17.42」になるのはありえない話です。
    おそろしや…

    • Re:大昔 (スコア:2, おもしろおかしい)

      by Anonymous Coward on 2013年08月07日 9時05分 (#2436194)

      同じくらい昔、ファミコン版ドラゴンクエスト2で、「ぬ」「ね」「め」「わ」の違いに惑わされたことを思い出しました。
      圧縮アルゴリズムが人間と同じように誤認するようになったわけですね。

      親コメント
      • by Anonymous Coward

        でも、あれは実際にバグもあるからなぁ。。。
        エニックス認めないけど。

        当時、ビデオに撮った画面と見比べながら入力しても
        「ふっかつの呪文がちがいます」
        って言われたからw

        #ビデオ入力と切り変えすりゃ1台のテレビで可能です。
        #当時のファミコンはRF(2ch)入力ですから。

        • by Anonymous Coward

          完全に解読されててたと思うが、バグっぽい話は無かったよ、確か。

      • by Anonymous Coward

        機械が人間と同じレベルに…すごい進化だ!

  • by Anonymous Coward on 2013年08月07日 9時31分 (#2436215)

    印刷や読み取りの品質が原因で、小さな字がつぶれてしまうというのは、ありうること。
    それを取り繕うために、スキャナの側で勝手に文字を想像して置き換えてしまうというのは、
    「圧縮」とは呼べません。「改竄」とか「捏造」と言ってよいと思います。
    勝手じゃなくユーザーの同意の上でやるにしても、「圧縮」ではなく「推測」などと呼ぶべき。

    スキャン結果を見てつぶれていたら、人間の側で対応できる可能性がありますが、
    スキャン結果がつぶれていなかったら、きれいにスキャンできたと思い込んでしまって、
    まさか原本と違うという考えに至らず、内容を信じてしまいます。

    • 「不可逆圧縮」というのは、実用上問題ない範囲でデータを変えて符号化することでデータサイズを減らすことです。今回の例のような場合には圧縮のつもりだったのに「実用上問題ない範囲」を超えてデータを変えてしまっているのだから、もちろん圧縮に失敗しています。

      という意味で「こんなの圧縮ではない」というのは正しいのですが、開発者の意図はもちろん画像を圧縮することですよ。あなたは「推測」だとおっしゃいますが、推測に基づかない圧縮なんてありません。可逆圧縮なら推測が外れてもデータサイズが圧縮前より減らない (とか増えるとか) 程度で済みますが、不可逆圧縮で「実用上問題ない範囲」がどれだけかという推測が外れれば、実用上問題あるほどデータが変わってしまいます。

      こんな方法で圧縮しようとするなボケ、という批判はできるかもしれませんが (知らない)、挙動の意図が圧縮であるという点を無視して「圧縮と呼ぶな」などと言っても的外れな批判だと思います。

      親コメント
    • by Anonymous Coward on 2013年08月07日 10時01分 (#2436234)

      残念ながらこれも圧縮方法の一つです.いわゆる不可逆圧縮です.

      例えば画像の圧縮でよく使われる jpeg や動画の圧縮のmpegでも同じようなことをやっていて,
      勝手に色情報を置き換えています.

      親コメント
      • by Anonymous Coward

        普通の離散コサイン変換ならパターンマッチまではしないでしょうに…

        パターンマッチ系(?)圧縮アルゴリズムというとフラクタル圧縮辺りがそこそこ有名ですかね

      • by Anonymous Coward
        (様々な補正により)結果的にオリジナルと異なる出力になってしまうというのは圧縮そのものの問題かもしれませんが、無関係な別部分の画像に置き換えられてしまうという問題は圧縮の問題とは根本的に異なると思う。
        • 補正じゃないんですよ。不可逆圧縮したらデータは失われる一方なんです。よく失われたデータを再現とか宣伝してるのは、コンテキストがわかっているからある程度推測できる(入力データの他にデータを受け取っている)だけです。失ったデータは失われているんです。

          だからこれは「画像を縮小しすぎて読めない」というのと同じです。本来なら潰れて読めないレベルまで圧縮して小さくしているけど、他の手法によって見た目の解像度を稼いでいる。取り込まれたデータ量が情報を伝えるのに必要な量を割り込んでしまっていることが原因で、使いものにならないってことですね。そして、それが明らかには見えないので、困る、と。

          親コメント
        • 『このへんとこのへんは似たような色だから、同じ色ってことにしておこう』

          『このへんとこのへんは似たような形だから、同じ形ってことにしておこう』
          という程度の違いでしょう。

          色よりも形の方が直接的に意味を示すことが多くて、
          色違いがあっても見栄えだけの問題で、重要ではないことが多い、ってだけで、
          圧縮の問題、としては、同じ方向性の問題だと思います。

          例えば、国旗が並んだ画像を圧縮したらイタリア国旗が全部フランス国旗になってた。
          とか、色の圧縮でまったく違う意味になってしまうこともあり得るわけで。

          親コメント
    • by s02222 (20350) on 2013年08月07日 12時58分 (#2436342)
      JPEGにしても、画像内の色の変化をそれと似たようなサインカーブの組み合わせに置き換えるような事をしてるわけで、本質的には変わらないと思います。 文字が別の文字へ変わるような置き換えこそは起こらないけど、単にそれは、どういう用途で問題が無い置き換えが起こるか、に過ぎないんじゃないかと。

      不可逆圧縮ではそういう問題が起きえると諦めた上で、それぞれのアルゴリズムごとにどういう問題が起こりうるのかに関して気をつけるしかなないんでしょうね。 ここまで極端なトラブルが起こるとは想像外でしたけど。
      親コメント
    • by Anonymous Coward

      それがサンプリングによる単なるエイリアシングだったとしても「内容を信じてしまいます」は
      変わらないよね。コピーはコピー、原本への参照に過ぎないっていうのは基本じゃないかしら。

  • by Anonymous Coward on 2013年08月07日 9時53分 (#2436229)

    コピー出来ない紙資料とか。

  • by Anonymous Coward on 2013年08月07日 10時35分 (#2436257)

    画像のわいせつ部分は笑い男に置き換えるように画像フォーマットの仕様として強制させられたりして。

    #で、生ガキの画像が笑い男になる。

  • by Anonymous Coward on 2013年08月07日 11時36分 (#2436291)

    下の広告の製品は大丈夫なのかな。

typodupeerror

にわかな奴ほど語りたがる -- あるハッカー

読み込み中...