パスワードを忘れた? アカウント作成
9639 story

インターネットを利用したアンケートは信用できるか? 104

ストーリー by Acanthopanax
≠ランダムサンプリング 部門より

basidium 曰く、 "INTERNET Watch の記事および asahi.com の記事より.独立行政法人 労働政策研究・研修機構が, 『インターネット調査は社会調査に利用できるか』 (pdf)という報告書を公開しています(概要(pdf)プレスリリース).
近年,無作為抽出した対象者に面接を行うという,従来からの社会調査の実施が難しくなっており,モニターを利用したインターネット調査がマーケティングなどで盛んに行われるようになっています./.J でも時折そのような調査結果がタレコまれていますが,調査対象集団の代表性に疑問がある,というのはここでも指摘されてきた通りです.
労働政策研究・研修機構では,従来型の面接調査と,5件のモニター調査(インターネットでの調査4件,郵送による調査1件)とを比較し,モニター調査,とくにインターネットを通じたものの特性を明らかにしようと試みています.
結果は,面接調査とモニター調査とでは「調査結果の大半が有意に異なっ」ており,「インターネット調査は、現段階では従来型調査の代用として何の留保もなくそのまま用いることは不適切」というものでした.今後多くのデータが蓄積される必要がありますが,これまで予想されてきたことを実証して見せたという点で意義ある研究だと思います." (つづく…)

"この調査では労働に関する意識を尋ねていますが,労働意識面に関する結果は INTERNET Watch などの記事に譲ります.タレコミ人にとって興味深かったのは,以下の結果です.

  1. 全国を対象地域としたインターネット調査3種では,「調査に答えるのが楽しいから、自分の意見や主張を書けるから、調査に協力するという層が比較的多い」
  2. モニター型調査の回答者がインターネット調査に協力する理由の上位3位は、「謝礼・景品がもらえる」、「時間の余裕がある」、「調査の主題に関心がある」であった
  3. インターネット調査のモニター回答者は、複数の調査会社にモニター登録し、毎週のように調査に解答しているものが多い

特に1,2番目からは,「モニター調査では,調査の主題について世の中に言いたいことがある人の回答が多くなる」という傾向が想像されます.実際には,面接調査でもある程度そういう傾向は出るはずですが,それがさらに強くなっているとすると,モニター調査は,とくに世論調査と相性が悪いのではないかと思われます."

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • こういう調査も (スコア:4, 参考になる)

    by chiba-f (6867) on 2005年02月10日 0時16分 (#691900)
    『ネット調査、「不満」高めの傾向 訪問面接と比較』 [asahi.com]
    「ここ数年急増するインターネットでの調査は、従来の訪問調査に比べ世の中への不満が強く、将来に不安を感じる傾向が強めに出ることが、厚生労働省の外郭団体「労働政策研究・研修機構」の調べで分かった。手軽さから政府の調査でもよく使われるが、同機構は「結果を公表する時は、偏りがあることに留意する必要がある」としている。」
    • by Anonymous Coward on 2005年02月10日 21時17分 (#692362)
      逆に、従来の訪問調査では批判的な意見を言いづらい、ということでしょうか。
      訪問調査の欠陥をインターネットでの調査で補う事が出来るのではと思います。
      親コメント
  • by akiraani (24305) on 2005年02月10日 1時25分 (#691947) 日記
    これ [srad.jp]

    うわぁ、偏りまくりだ……(当たり前

    • by Y.. (7829) on 2005年02月10日 3時44分 (#691965) 日記
      一見、偏ってるようだけど
      調査対象がスラド住人というのを考えると
      なかなか妥当な結果になってると思うんだけど

      まぁ スラドの国民投票に関して言うなら
      結果を役に立てる気がないことがわかってるから
      妥当な結果の理由なんじゃないかなんて思ってみたり
      親コメント
  • by Anonymous Coward on 2005年02月10日 20時40分 (#692352)
    ネットにはポイントをくれるアンケートがありますが
    こっちの方はポイントのためにアンケート主が望む方向に
    回答する傾向がありますね。

    最大10ポイントとかいうので真面目に回答すると2ポイントで終了とか。
    これじゃ正確性ないだろうと思いましたよ。

    最近は事前アンケート形式もあるので本アンケートに進むために
    回答を有利に変えたりしますね。
    全く興味なくても、多少興味があるとかね。
    • 役所関係はなぜかGMOのInfoQ [infoq.jp]が多いですね。
      ケチで有名なGMOの名に違わず、アンケートの量と貰えるポイントが釣り合って折らず、予定だけでキャッシュバックがいまだに実行されないこともあり、真面目に答えず適当な答えで書けばいいやという流れが起きているのですが、安いからと飛びつく役所が多いようで。
      親コメント
  • by Pen2 (18210) on 2005年02月10日 12時10分 (#692124)
    夕方の公園で ランダムになるように、チェック印や
    文面をひねり出して、調査票の束に記入しているのを目撃しました。数が多いと疲れます。
    • by Anonymous Coward on 2005年02月10日 21時41分 (#692375)
      以前調査員のバイトをしたとき、「好きに書いていいよ」「あなたと同じで」という人が結構いました。
      そういう人はまわりに人がいればその人の意見を書くのだろうなと思い、
      特に悪いとも思わず素直に自分の意見を書いていました。
      10年以上前の話なのでもう時効ですよね。
      親コメント
  • by Anonymous Coward on 2005年02月10日 0時06分 (#691895)
    郵送、街頭、電話調査、それにインターネット。それぞれに有意差が生じて当然だろう。
    問題なのは有意差の有無ではなく、どちらがより真の値に近いかの方。
    • by kkano (7357) on 2005年02月10日 3時50分 (#691967)
      例えば電話調査の場合、まともな無差別統計であれば「ご家族の中で最も誕生日が近い方に代わってください」と言います。これは普通に電話を取る人に頼むと主婦層に偏ってしまうからで。
      また投票所出口調査なども、普通に頼むとバイト君は質問に答えてくれそうな大人しい主婦層を選んでしまうので、しっかりした所は20人目づつ調査するとか指示が出ているはずです。また、NHKの腕章を着けた調査員には本音を伝えるが、朝日の調査員にはごまかしを言うとも聞きます。

      ちなみに電話調査の場合、母集団には深夜帰宅&休日出勤の少なくないスラド技術者は入っているのでしょうかねぇ。。
      親コメント
    • むしろ問題は誤差(というか真の値からのずれ)の見積もりの手法ではないでしょうか.
      現時点で適用されている手法では,これまでの蓄積分とその後の実態から,測定値と
      真の値とのずれをある程度見積もる経験則が出来ている(と信じて調査をやっている.
      実際に見積もれているかは当然謎)わけで,そこを基点にさらにどちらにどの程度ずれる
      かが判れば真の値からのズレの存在自体は(例えばマーケティングなどでは)それほど
      問題ではないかなあと.
      #もちろんずれが無い方が良いですし,ズレの見積もりが本当に出来ているのか,
      #という点に問題があるのは判りますが,ズレを知る方法が無い以上,ズレの大きさ
      #そのものはなかなか議論できないですよね.
      親コメント
    • by yammasky (17908) on 2005年02月10日 11時02分 (#692078) 日記
      もう一歩進んで,そもそも調査方法に独立な「真の値」なるものが本当に存在するのか?という視点も必要では.
        もちろん真の値が定量的に評価できる調査も沢山あるでしょうが,人の意見なんて状況依存でころころ変わるものだと思うし.
      親コメント
      • by nim (10479) on 2005年02月10日 13時06分 (#692161)
        そうですね。
        アンケートの結果はあくまでアンケートの結果であり、
        それ自体が信用できるとかできないとか、そんな話にはなりません。
        そもそも、「信用できる」という言葉自体アプリオリには定義できません。

        結局、アンケートの結果というのは他のパラメーターとの相関や推移をみるために
        利用するのであって、今回の調査で指摘しているのもそこですね。

        簡単な例でいうと、同じ項目のアンケートの収集方法を街頭から
        インターネットに切り替えたとき、単純に前回と比較できないであろうと。
        それを補正するパラメーターを求められればいいよねと。
        親コメント
      • by nekopon (1483) on 2005年02月10日 11時40分 (#692101) 日記
        「アンケートの結果を信用するな。アンケートに答えるヤツは変わり者だ」---- 「マーフィーの法則」から引用
        親コメント
    • 正しいデータ (スコア:2, 参考になる)

      by kawatac (20090) on 2005年02月10日 18時04分 (#692295) 日記
      結論は、

      「インターネット調査は、現段階では従来型調査の代用として何の留保もなくそのまま用いることは不適切」

      なので、「真の値」とのずれを問題にしたわけではありません。「代用」の妥当性を検討しただけです。

      普通は、目的に応じて調査法を組み合わせ、補完することで、「使えるデータ」を算出します。ただ、「使えるデータ」は「都合の良いデータ」でも、あるわけで、「真の値」と近いかどうかは問題ではありません。

      そして、多くの人が、「納得できるデータ」を「真の値」に近いと信じます。
      親コメント
    • 真の値はわかりませんが、インターネットの方が
      全国一般の平均値からは遠いのではないでしょうか。

      大昔電話がまだ一般的ではなかった頃に選挙の支持調査をしたら、
      電話での調査は実際の結果を異なったという話を見たことがあります。

      インターネットが一般的になったといっても、所詮国民の2割以上は
      利用していないわけですから、結局はインターネットでの
      アンケートが向く物と向かない物があるだけだと思います。
      親コメント
    • by Anonymous Coward on 2005年02月10日 4時02分 (#691969)
      対面でのアンケートの際に、(無意識に?)見栄を張ったり
      非常識なことを言わないように気をつけたりしてしまうので
      真の値からずれる、という報告もあった気がします。

      郵送や電話の場合は知りませんが、匿名で無ければやはりずれるでしょうね。

      ネットとそれ以外の場合でどちらがずれるかは一概には言えないと思いますが、
      ネットの場合は回答したい人が参加する傾向が他よりも高そうなので、ずれが大きそうですね。
      特に両極端な回答の率が高くなりそうな気がします。
      親コメント
  • by sic666 (20316) on 2005年02月10日 1時07分 (#691933) 日記
    信用できないというよりも、どういう層が回答しているのかを検討すれば見えてくるものもあるだろうに。また、質問内容にもよるだろう。WEBサービスのアンケートならWEBで聞くべきだしね。

    この調査はむしろ世の中のアンケートが適当に調査されているっていう事をアピールしているだけの気がする。
    • >この調査はむしろ世の中のアンケートが適当に調査されているっていう事
      >をアピールしているだけの気がする。

      ええと,報告書ちゃんと読みました?
      ネット利用の調査(p83)からの結果に対し,p213からの分析と考察でそれなりに
      述べられてると思いますが.
      親コメント
      • って,今流し読み終わったところなんですが,なんかこういうアンケート調査
        に関する調査とかって面白いですね.
        日頃扱ってる研究内容より(たまに見る分には)面白いかも.
        #ただなんかこう決定打(バシッと正否を決める手段)が無いあたりが
        #自分には向いてないわけですが.
        親コメント
  • 驚くべき結果 (スコア:1, おもしろおかしい)

    by Anonymous Coward on 2005年02月10日 1時43分 (#691955)
    インターネットの普及率は、何と 100% だそうです。
  • 騙されてはいけません (スコア:1, おもしろおかしい)

    by Anonymous Coward on 2005年02月10日 4時22分 (#691972)

    色々な意見が出ているようですが、これらは『インターネットを利用したアンケートは信用できるか?』というアンケートに対するインターネットでの回答です。決して信用してはいけません。

    というアンケートの回答

  • by T.Sawamoto (4142) on 2005年02月10日 9時54分 (#692036)
    信頼できる調査方法、どれ?

    ・面接調査
    ・街頭調査
    ・電話調査
    ・Web調査
    ・Eメール調査
    ・T.Sawamotoのテレパシー調査
  • by hohoho (14727) on 2005年02月10日 0時19分 (#691902)
    スコアが下がるかもと思いましたが、、、、、 独立行政法人が税金使ってすることは、もっと優先順位の高いものがあると思いますが、やはり間違えた答えを出しても問題のない“お仕事”が、役人はいいのでしょか?
    • by kaya (8814) on 2005年02月10日 1時03分 (#691931)
      あなたの個人的な願望ではなく、国民全体にとってもっと優先順位が高いものって何よ?
      そして、それは何をもってそう言える?

      実態がわからなければ何の問題が優先順位が高いのか、ということそのものが
      把握できないわけで、精度の高い調査無しには適切な政策の実行は不可能。

      今回の研究は、これまで指摘されてきたインターネット上でのサンプルバイアス
      の存在を実証したわけで、それなりに意義があると思う。
      こういう研究は必要だけども、カネにならないから民間だとまずできないからね。

      #調査って、直接に何かをするわけじゃないし、利害関係者がいないから(役所でも
      #民間でも)予算が削られやすいんだよね、とちょっと愚痴ってみる。
      親コメント
    • まず同法人の平成16年度事業計画書 [jil.go.jp]を読んだ上で、 現状の調査、特に労働者に対する聞き取り調査が多くなるという特色を持つ機関がこうした研究をする必要性が低いと思うのは何故か、またその「優先順位の高いもの」というのが何なのか、明確に述べてくださいな。

      親コメント
    • >独立行政法人が税金使ってすることは、もっと優先順位の
      >高いものがあると思いますが

      できれば、「もっと優先順位の高いもの」の具体例を出して
      もらえると、面白いと思いますが、いかがでしょう?

      私は、今回の調査、興味深いと思いましたけどね!
      親コメント
      • by flutist (16098) on 2005年02月10日 1時10分 (#691937)
        > 今回の調査、興味深い

        他の人も書いてますが、一般に標本調査の結果は真の分布とは異なります。どう異なるかは標本の選び方によるわけで、調査結果の解釈の腕の見せ所でもあり、議論対象でもあるはずなのに、よく新聞、TVで見聞きする「世論調査」では、その標本抽出の方法や妥当性がちゃんと説明されることは、まずありません(たとえば簡単に「成人男女2000人を無作為抽出」とだけしか記されてなかったり。「誰が持ってる名簿から」選んだのか、が大きな影響を持つはず)。

        だから「調査方法によって結果がバラつくんだよ」という事を広く知らしめるためには、こういった研究とその成果の宣伝は重要なのです。

        しかしいわゆる調査会社は、そんなことはあまり言いません。だまっておけば、ほしい結論を任意に得るような解釈がしやすいからです。おまんまの心配しなくていい独法での税金による研究が向いている、と言えないこともないと思います。
        親コメント
    •   独立行政法人にどんなものがあるか調べると、とてもそんなこと言えなくなると思います。 [google.co.jp]
       日本中の元・国立大学でやっている研究にだって、そうとうくだらない(もしくは、くだらなく見える)ものはあるでしょうし。

       逆に、くだらない=利益に直結しないからこそ、国が税金でやらなくてはいけないという側面も
  • by Anonymous Coward on 2005年02月10日 0時36分 (#691912)
    匿名で投票するタイプのインターネット調査だと,そもそも母集団が想定できませんし回収率もわかりませんので,分析しても何もいえませんが,モニター調査の場合でも,従来型の調査とは母集団が違っているので結果が違って当然です。
    一方,従来型の調査と同じやり方で標本抽出して協力依頼したら回収率が著しく低くなるでしょうから,信頼性が乏しくなりそうです。
    ……ということくらいは,わざわざ実験しなくても定性的にはみえているんじゃないかと思いますが。
    報告書pdfを読まずに書いているのでAC
typodupeerror

最初のバージョンは常に打ち捨てられる。

読み込み中...