あなたがニュースを読んでいるとき、ジャーナリストが調査結果で彼らの主張をバックアップするとき、それは安心感を感じることができます。しかし、すべての調査が等しく信頼できるわけではありません。ありがたいことに、信頼できない世論調査のいくつかのテルテールの兆候があります。種の信頼。ええ、それはスペクトルです。
私たちは、国内で最も資格のある世論調査の専門家の一人であるジョン・コーエンと話をしました。過去4年間、彼は新しい組織と協力して世論調査を行いましたSurveymonkeyの最高研究責任者。それ以前は、ピューリサーチセンターの研究担当副社長であり、（8年間）ワシントンポストの投票ディレクターでした。彼によると、技術の変化は実際に投票をより困難にしています。
問題
「私たちは、10年前よりも、今日の世論調査を評価するためにはるかに厳しい立場にあります」とコーエンは言います。携帯電話を呼び出すには費用がかかります2倍固定電話を呼ぶように。したがって、現代の世論調査員はしばしば新しい方法を使用する必要があります。多くのニュースアウトレットは自分の投票を買う余裕がないため、外部の世論調査に依存しています。ずさんで不正確な世論調査がメディアに陥る方法はもっとあります。
一方、この分野の専門家は、しばしばポーリング方法に反対します。業界の最良の基準のいくつかは時代遅れになりました。国民投票に関する国家評議会はのリストを提供します「ジャーナリストが世論調査の結果について尋ねるべき20の質問。」しかし、コーエンが指摘しているように、そのリストは10年以上にわたって更新されていません。それ以来、インターネットアクセスのない成人の数は半分になり、投票における携帯電話の使用は3倍になり、どちらも投票者の物事を大幅に変えています。
調査は現在、ロボコールや複数の形式のオンラインポーリングなど、あらゆる種類の安価な方法を通じて実施されており、すべてがホームコールがゴールドスタンダードであったときに疑わしいと考えられていました。ニュース組織と協力してオンライン投票を行うSurveymonkeyは、そのサイトでさまざまな調査を行っている毎日300万人のユーザーから回答者をランダムに選択します。 （彼らはここで彼らの方法論を説明します。））
しかし、コーエンが認めているように、すべての投票専門家がSurveymonkeyの方法に同意するわけではありません。FiveThirtyeightの世論調査の評価surveymonkeyにc-のグレードを与えます。一方、コーエンは、いくつかの世論調査員があまりにも非常に高度に評価されていると信じており、幸運になったとしても選挙結果に合わせて彼らに報いることがあると考えています。そして、これはすべて2つのサイトの間にあります調査で提携しました。
投票の専門家は、一般人口を代表する膨大な数の人々を調査しようとするか（結果をフィルタリングする）、または登録済みの有権者や財産所有者など、希望する特定の人口から始めるかどうかなど、いくつかの基本原則についても同意しません。したがって、良い世論調査の定義は、どの専門家を尋ねるかによって異なります。それでも、専門家はいくつかの重要な要因に同意する傾向があり、これらを使用してニュースに見られる世論調査の結果を判断できます。
解決策
NCPPのように古い20の質問そうです、彼らはまだ良い出発点です。彼らは、世論調査についてジャーナリストを書いていることを目的としていますが、今ではより悪い世論調査がメディアの報道になったので、これらの質問は読者にとって有用です。彼らは「誰が投票に支払ったのですか？" そして "サンプリングエラーは何ですか？」と質問実際に調査された人。 （NCPPは、各回答の意味について詳しく説明しています。）
コーエンはいくつかの新しい質問を提案します：回答者はランダムに選択されていましたか、または、彼らはCNNの記事に組み込まれた調査に「オプトイン」しましたか？後者は多くの結果をもたらし、それらの回答者がいくつかの人口統計学的質問にも答えなかった場合、結果を差し取ることは困難です。 （Cohen氏によると、Surveymonkeyの回答者はより高度な教育を受けている傾向があり、Surveymonkeyが調整しますが、それ以外の場合は人口統計が国の国勢調査データと一致する傾向があります。）したがって、あらゆる世論調査、特にオンライン投票では、回答者がどのように選択されたかを確認します。
何人の人が投票されましたか？サンプルサイズが少ない適切な投票は価値があるかもしれませんが、100人未満の回答者で信頼できる結果を得ることができないと言います。理想的には、はるかに必要です。
したがって、複数のサブグループの結果を分解したい場合は、1,000人を投票することから始める必要があります。 500人を投票するが、そのうち60人だけが黒人である場合、60人の黒人の回答者について意味のある結果を得ることができず、全国平均の代表であるふりをすることはできません。一人の人が心を変えた場合、それはあなたの結果をパーセンテージポイント以上シフトするでしょう。 （コーエンは、まれな人口については、世論調査員が75人の回答者に落ち着くかもしれないと言います。）
実際の質問は何でしたか？評判の良い世論調査員は、彼らの質問と複数選択の答えを開示するだろうとコーエンは言う。これらを知ることは、結果の意味を完全に変えることができます。
イラク戦争中に、調査報告書によると、アメリカ人の4分の3が1年以内にイラクから米軍を望んだと主張した。しかし、反戦ドナーによって資金提供された調査は、望ましい答えを得るために設計されました。回答者には4つの選択肢がありました。3か月、6か月、1年以内に軍隊が去ることを望みましたか、それとも「必要な限り滞在」したいのですか？たとえば、2、3年で去る軍隊の選択肢はありませんでした。世論調査の結果は価値がないが（彼らは多くの人々がイラクから軍隊を望んだことを示した）、彼らは実際に見出しが彼らが意味すると主張したことを意味しなかった。次の質問につながります：
結果はどのように報告されていますか？調査が非常に少ない調査で報告されている場合、他のすべての質問に答えることが不可能になっている場合は、疑わしい。 Pew、The Post、Quinnipiac Universityなどのベストポーリング組織とアウトレットは、その方法、データ、およびそのデータの調整方法について開かれています。ポストでは、コーエンのチームはオンライン投票と並んで電話投票を行い、ポーリング方法が結果をどのように形成したかをテストしました。次に、1つの方法で投票を実行すると、調整方法を知っています。
信頼できない世論調査の兆候があります。 「投票が小数点で報告されている場合、私はそれを却下するのは非常に迅速です」とコーエンは言います。 「どのように実施されていても、人々がどのように考えているかについて、10パーセントポイントの精度を達成することはできません。」投票組織が回答者プールの小さなサブセットから結果を描画しようとしているかどうか、または調査結果の意味を誇張しているかどうかを確認してください。
2007年の民主党の予備選挙中、ワシントンポストのコーエンのチームは、多くの黒人有権者がクリントンからオバマに移行したと報告した最初の人物でした。彼らはこれを136人の黒人の回答者との世論調査で見ましたが、彼らは自分の方法論を信頼し、シフトが非常に顕著であったため、統計的ノイズではないと確信していました。シフトが半分ほど大きかった場合、彼らはそれを報告するのに十分なデータを信頼していなかったでしょう。
他の世論調査は何と言っていますか？コーエンは、不完全な世論調査はまだ有用であると考えています。しかし、それを他の世論調査と比較することは有用です。強力な擁護者でさえ、よくできた電話投票は、必ずしも却下されるべきではありません。
共和党と民主党の政党は意見の世論調査を実行します。しかし、コーエンは、これは必ずしも個々の投票が歪んでいることを意味するわけではありません。当事者が見通しを確認しない世論調査の結果を公開していないことです。一緒に平均して、これらの党派的な世論調査は依然として有用な結果をもたらすことができます。
公平な第三者によってより多くの投票が行われ、報告されているといいでしょう。しかし、費用のおかげで、それらは十分ではありません。過去数十年にわたって、人々に投票を行わせることがはるかに困難になり、平均世論調査の回答率は10％未満です。そのため、私たちは歪んだり、部分的に報告されたり、その他の欠陥のある世論調査から、できることを取り入れています。 FiveThirtyeightは、優れた投票者を支持するために平均を重み付けますが、既知のエラーとバイアスに基づいて調整しようとした後、それは依然として悪いものの結果を考慮します。 （から何百もの世論調査員サイトの料金は、5人しか禁止されていません。）完全に無視するよりも、適切な塩の粒で欠陥のある世論調査を受ける方が良いです。
投票データが測定される人口統計統計を生成する米国国勢調査でさえ、変化する基準を持っています。質問と回答オプションを改善します人種と民族性では、国勢調査により、10年から10年まで統計を直接比較することが難しくなりました。真実は、世論は私たちが正確に測定できる物理的な定数ではないということです。それは微妙で、影響を与えずに測定するのが難しく、絶えず変化しています。ですから、世論調査を間違いのない時代を超越した真実として扱わないでください。
