アンケート 有意差

有意な差があれば重要なエビデンスになる【アンケートの応用知識】

アンケート結果を分析するときには、注目できるデータに有意差があるのか、それとも誤差の範囲なのか明確にしましょう。

有意な差がある状態とは、差が偶然生じたわけではない状態のこと。偶然生じたわけではなく、原因があって生じたといいかえることができます。

誤差の範囲とは、差は生じたが、次に同じことをしても同じ差が生じるとはいえない状態のこと。

マーケターがアンケートを実施するのは、その結果をマーケティングに活かすためです。

アンケート結果からみえてきたある現象に有意な差があれば、その現象を基にしてキャンペーンをつくっていくことができます。なぜなら、その現象が再び起きる確率が高いからです。

逆に、アンケート結果からある現象がみえたものの、それが誤差の範囲であれば、その現象を基にしてキャンペーンをつくると失敗する確率が高くなります。なぜなら、その現象が再び起きる確率が低いからです。

有意な差は、マーケティング戦略を練るときの重要なエビデンス(科学的根拠)になります。

この記事では、アンケート結果の集計における有意について解説します。

「有意or誤差」は「多いor少ない」ではない

「有意と誤差」、「多いと少ない」は混同されがちですが両者は異なります。

次のようなケースを使って両者を比べてみます。

●顧客リストのなかから100人を任意に選んでアンケートを行ったところ、次のような結果が出た。

  • 月50,000円以上買う顧客:「当社を好意的に思っている」80%
  • 月50,000円未満買う顧客:「当社を好意的に思っている」60%

この結果から、「購入金額が高い顧客ほどこの会社に好意を持つ傾向が強くなる」といいたいところですが、そうはなりません。

なぜなら、80%と60%に有意な差があるかどうか証明していないからです。

この結果からいえることはせいぜい、購入金額が多い人が好意を持つ率のほうが、購入金額が少ない人が好意を持つ率より高い、ということだけです。

多い・少ないの結果が出ることと、そこに有意な差があるかどうかは別の問題なのです。

有意な差を確認しないとどのような悪影響が起きるのか

ここで問題になるのが「有意と誤差」、「多いと少ない」を区別する意義です。なぜ「多いと少ない」だけで判断するのでなく、「有意と誤差」を調べなければならないのでしょうか。「有意と誤差」を確認しないと、どのような悪影響が起きるのでしょうか。

先ほど紹介したアンケート結果で説明します。

  • 月50,000円以上買う顧客:「当社を好意的に思っている」80%
  • 月50,000円未満買う顧客:「当社を好意的に思っている」60%

この結果に「有意な差があった」とします。

このとき、月50,000円以上買う顧客に特別なサービスを提供するマーケティング・キャンペーンを実施すると、効果が出る確率が高くなります。

なぜなら、月50,000円以上買う顧客に特別なサービスを提供すると、より強く好意を持ってもらえるからです。

そして、月50,000円未満しか買ってくれない客に特別なサービスを提供しても、あまり効果が出ない可能性があるからです。

では、上記のアンケート結果の差が誤差の範囲だったら、どうなるのでしょうか。

そのとき月50,000円以上買う顧客に特別なサービスを提供するマーケティング・キャンペーンを実施しても、大きな効果は期待できません。

なぜなら、月50,000円未満しか買ってくれない客に特別なサービスを提供したほうが、より大きな効果が出るかもしれないからです。

もし上記のアンケート結果の差が誤差の範囲だったら、次の可能性も否定できなくなってしまいます。

●月50,000円未満しか買わない顧客のなかにこそ、当社の熱烈なファンがいるかもしれない

この可能性が否定できないのに、月50,000円以上買う顧客を優遇する策を講じるのは無謀です。

このように有意差を探ると、マーケティング戦略を、根拠をもってつくることができます。

現象Aが起きる可能性が5%未満の場合、有意である

有意とは、統計学で用いられている概念です。

統計学は、数学の確率の考え方を使って、ある現象に意味があるのかないのかを探る学問です。

すなわち、統計学的な分析をした結果、ある現象について「有意といえる」と判定した場合、次にまた同じ条件がそろったら同じ現象が起きる確率が相当高いことを意味します。

有意であるとは、誤差とはいえない、ということです。

つまり、有意の有無を確認するには、誤差をチェックしなければなりません。

誤差の可能性のことを有意確率といいます。有意確率において、有意と誤差をわけるのは5%とされています(*1)。

例えば、たまたま現象Aが起きる可能性が4%の場合、5%以下なので「たまたまではない」ということができます。

*1:https://www.business-research-lab.com/single-post/20190124

有意が起きやすい条件(誤差と判定しにくい条件)

有意が起きやすい条件は次のとおりです。これは誤差と判定しにくい場合ということもできます。

  • 現象Aと現象Bの平均値の差が大きい場合
  • 現象Aと現象Bのばらつきが小さい場合
  • 大量のデータを分析した結果、差が生じた場合

この3つを知っておくと有意をよく理解できるので、1つずつ解説します。

現象Aと現象Bの平均値の差が大きいと、なぜ有意が起こりやすいのか

「スポーツ好きな人は声が大きい」という現象をAとします。

「読書好きな人は声が小さい」という現象をBとします。

このとき、現象Aの声の大きさの平均値が著しく高く、現象Bの声の大きさの平均値が著しく低いとき、現象Aと現象Bは有意に差があるといえます。

すなわち、次の現象Cが正である可能性が高くなります。

●現象C:スポーツ好きな人は声が大きく、読書好きな人は声が小さい

現象Aと現象Bのばらつきが小さいと、なぜ有意が起こりやすいのか

ばらつきの概念は少し複雑なので、より詳しく解説します。

先ほどと同じように、「スポーツ好きな人は声が大きい」という現象をA、「読書好きな人は声が小さい」という現象をBとします。

ただ今回は、現象Aも現象Bも、それぞれの傾向はみられるものの、傾向の強さが弱かったとします。

つまり、現象Aの声の大きさの平均値がそれほど高くなく、現象Bの声の大きさの平均値がそれほど低くない状態です。

このとき、先ほどの「現象Aと現象Bの平均値の差が大きいと有意が起こりやすい」原則からすると、有意ではない、つまり、誤差の範囲と判定したくなります。

しかし、現象Aの被験者(スポーツ好きの人)と現象Bの被験者(読書好きの人)の性質、年齢、性別、学歴、収入が似ていて、ばらつきが小さいと、現象Aの声の大きさの平均値がそれほど高くなく、現象Bの声の大きさの平均値がそれほど低くない状態でも、有意になりやすくなります。

被験者たちのばらつきが小さいと、小さな差でも確かな差になりやすいからです。確かな差とは、有意な差のことです。

例えば、24色クレヨンのなかで緑と赤の差は小さいと感じます。それは、クレヨン1本1本の色のばらつきが大きいので、緑と赤の差も、青と黄色の差もそれほど違わないからです。

しかし、緑のカエルと赤いカエルがいた場合、このときの緑と赤の差はとても大きく、有意な差と判定できます。それはカエルの色のバリエーションが少なく、色のばらつきが小さいので緑と赤の差が目立つからです。

大量のデータを分析した結果、差が生じるとなぜ有意が起こりやすいのか

冒頭で「有意と誤差」は「多いと少ない」ではないと解説しましたが、分析するデータ量が多くなるほど、「有意と誤差」と「多いと少ない」は近づいてきます。

例えば、100人のアンケートで「好き60%、嫌い40%」と出ても、この差が有意か誤差かの判定は難しいのですが、10,000人のアンケートで「好き60%、嫌い40%」と出たら、「好きが嫌いを上回ることは、統計的に有意といえる」といえます。

データ量が多くなると、現象A(好き)と現象B(嫌い)の差が小さくても、決定的な差とみなすことができるようになるわけです。決定的な差とは、有意な差のことです。

まとめ~まやかしに騙されないように

人々は数字を信じます。なぜなら、数字は嘘をつかないと思っているからです。

アンケート結果の分析でも、数値化するとそれが正しいように感じます。

数字が嘘をつかず、数字を動かせないのは事実ですが、そもそも数字を生み出すものがあやふやな場合、その数字を信じることはできません。

アンケートの回答者の多くは直観で答えているので、かなりあやふやです。そのため、アンケート結果は得てして事実でない数字を生み出します。そのアンケート結果を基にマーケティング戦略を練ってしまうと成功確率は落ちます。

数字のまやかしに騙されないようにするには、有意な差かどうか検証しなければなりません。そして有意な差がみつからなかったら、勇気を持って「アンケート結果このような数字が出たが、これは誤差の範囲と考えるべきだ」と結論づけましょう。

無料お役立ち資料フォーム


<参考>

「統計的に有意」とは何か?

正木 郁太郎IKUTARO MASAKI