データ分析ツールと利用者のリテラシー

インターン生の山口です。今回はデータの分析とは切っても切れない関係である、統計学の話をしたいと思います。

【翻訳】Optimizelyを使ってクビになりかけたワケ ~統計学が苦手なマーケターへの薦め~

の記事では、統計手法によってテスティングツールの利用者が騙されていると述べられています。その理由として、ツール作成者側によって統計手法が悪用されているということが挙げられています。

 1.データ分析ツールと統計学

データを分析する際の強力なフレームワークとして統計学があります。また統計学を用いたデータ分析ツールを作る人がいます。そのツール製作者はツールを商品として売らなくてはいけません。そしてそのためには統計学を用いた結果を分かりやすく明確に示すことが必要です。t検定やカイ二乗検定といった小難しそうなことを内包しつつも、わかりやすく結果を伝えることが必要になります。そしてそのわかりやすさはツール利用者の結果への懐疑を減らすこともあります。しかし、今回はその小難しい統計手法の部分が問題となりました。

A/Bテストの結果が「偶然ではないのか」「本当にその2つのページに違いはあるのか」ということをチェックするための手法として「二項検定」というものがあります。そしてその二項検定には「片側検定」と「両側検定」という2種類の手法があります。

2.「片側検定」と「両側検定」の違い

片側検定はAとBを比較した場合にAはBより大きい、あるいはAはBより小さいという仮説が立つ場合に用いられます。したがって、大小どちらかの方向に仮説が立たない場合やAとBの差がないという仮説場合においては使えません。

両側検定は「AとBに違いがあるのか」という仮説を確かめる場合に用いられます。片側検定とは違い仮説としてAとBのどちらが大きいのかということを決める必要が無いため、こちらの検定手法のほうが広く用いることができます。しかしながら、必要なサンプル数が片側検定よりも多いです。

もちろんA/Bテストを行う場合は、AとBのページのどちらが良いページなのか、あるいは2つのページに差はないのかを調べるために両側検定が用いられるべきです

3.ツール利用者のリテラシー

ですが今回のツールでは「迅速な意思決定」ができるという理由から、片側検定が用いられています。確かに必要なサンプル数が少ないので、A/Bテストの期間が短くなり意思決定が速くなります。しかしながら、A=BあるいはA>Bという可能性を無視しているという点、すなわち新たにテストするBのページのほうがAのページより良い結果が出るという前提条件を置いている点から、明らかにAのページよりBのページのほうが良い結果を得られる場合のみこの手法が用いられるべきです。

ですので、行うテストによって「片側検定」「両側検定」といった統計手法もまた使い分けられる必要があります。それぞれにできること、できないこと(メリット・デメリット)があるのでそれを把握した上でツールを使いましょう。

4.結論

意思決定の補助としてデータを分析する、そしてデータの分析のために統計手法を用いる。それは有用なことです。しかしながら、便利な解析ツールを使うとしても、その内部としてどんな操作が行われているのかを正確に把握し、解析ツールに振り回されない、ということが使用者に求められるでしょう。