コンバージョン率最適化とA/Bテスト : SMX West2018 ワークショップ

コンバージョン率最適化とA/Bテスト

・アヤット・シューケイリー氏について
米国で2番目のCROベンダーであるInvespの共同創業者。代表著書として、オライリーの「Conversion Optimization」がある。

あの企業ではどれくらいのテストが行われているのか

Netflix・・・年間1200以上のテストを実施
Booking.com・・・1000テスト以上が現在行われている
Facebook・・・99％の確率で10個のテストに巻き込まれている
Amazon・・・2011年には、7000テストが実施されている
Google・・・昨年は10万のテストが行われた

過去の経験からの学び

• UIの要素を単体、パターン、機能でテストするということはない。特定ユーザーに対して特定のシナリオの中でテストを行うのである。
• 他のサイトで上手くいったことが、あなたのサイトで上手くいくとは限らない

多くの人が弱いところ

• 専門家としての見解
  • 整然としていない
• 定性調査
  • 現実味がない
  • ランダムに実施される
  • 明確なネクストステップがない
• 定量調査
  • イベントが適切に設定されていない・・・ゴミデータからはゴミアウトプットしか返ってこない
  • 当たり前すぎる
  • 現実を表していない
• 優先付け
  • ランダムに優先順位付けをしている
• 仮説設計
  • 意味のある仮設設計になっていない
• テスト
  • 統計を理解していない
  • ユーザビリティテストをしていない
• テスト後分析
  • 結論の導き出し方
  • 訪問者の理解の仕方
  • 勝者ばかりを見てしまう
  • 資料化、学習、そして興奮を共有すること

SHIPメソッド

CROを実施する過程をScrutinize(調査)、Hypothesize(仮説設計)、Implement(実行)、Propagate(展開)に分類。Invespが提唱するCROメソッド。

Scrutinize(調査)

調査の過程で発見された課題点は、以下の4つのカテゴリに分類される

• FIX IT RIGHT AWAY(即座に直すべき)・・・簡単なユーザビリティの改修など、テストをするまでもなく直すべき点(出血を止める)
• INSTRUMENT(計測)・・・Google アナリティクスやタグマネージャーでの追加の設定が必要
• RESEARCH OPPORTUNITY(調査可能)・・・テストをして検証をすべき領域
• INVESTIGATE FURTHER(より深い調査)・・・顕在化はしていないが、ユーザーに何かしらの影響を与えている可能性がある領域。ユーザーに与えている影響を判断するために、別の調査が必要

シナリオ設計

誰をターゲットにするかは明確にしなければならない。
なぜなら、我々はこうあって欲しいという姿を顧客に求めてしまうからだ。あなたはあなた自身の顧客ではないのだ。

ぺルソナの設計(例：スーザン)

ユニークな贈り物を友達にするためにウェブサイトを見ている
年齢、仕事、家族構成、年収、居住地域、パーソナリティ
生い立ち、贈り物をする背景
トリガーとなる言葉、目的、懸念事項、オンラインショッピングでの行動、モチベーション

定性調査

調査の流れ

• 調査プランニング・・・調査のゴール、聞くべき質問、使用する手法、参加者数を選定
• 調査実施・・・調査を実施し、データを集める
• 調査結果分析・・・集めたデータを分析し、パターンを導き出し、行動可能なインサイトを得る

調査手法の種類

調査事項

• モチベーション
  • なぜウェブサイトにやってきたか？
  • ウェブサイトで何をするつもりか？
  • どのようにしてウェブサイトを知ったか？
  • 今日はどうやってサイトにアクセスをしたか？
  • このページで何を見つけたいと思っているか？
• 障害
  • 購入を完了する妨げとなったものはあるか？
  • 購入を断念しそうになった要素はあったか？
  • このページで改善した方が良いと思うことはあるか？
  • このサイトで注文する上での最大の懸念点は何か？
  • 今日注文をしない場合、その理由は何か？
  • 購入を完了する前に何か疑問点はなかったか？
  • このサイトを使いやすくするためには何をすれば良いと思うか？
  • このサイトを使っていて、予想と違う動作などはなかったか？
• フック
  • なぜ我々から購入しようと思ったか？
  • 我々のサイトで最も気に入った点はどこか？
  • あなたにとって必要不可欠なものとなるために、必要な機能は何か？
• 満足度
  • 友達に我々のサービスをどれだけおすすめしたいと思ったか？
  • 今日のウェブサイトでの体験を5段階で評価すると？
  • 我々のウェブサイトはあなたの期待に応えられたか？
  • このサイトを使っていて、予想と違う動作などはなかったか？

iPhoneのケースを販売しているECサイトの例

質問：購入を阻害しているものは何か？

1. 必要な情報が見つからない
2. 自分のスマホのサイズに合うか分からない
3. 他の色が欲しい
4. 送料の表記が見つからない
5. 価格を比較したい

これらの質問の回答に対して、対応方法を分類していく。

対応方法

コンバージョンを増加させたデザインはこちら

理由

• ソーシャルプルーフを目立つところに配置
• 最大4つの商品の利点を紹介
• 論理的なペルソナのために機能を更に表示
• 対応機種を明確に表記

調査の回答には往々にして、「顕在化している意識」や、
「考えたり感じたりすることはできるが、口には出したくないこと」などが現れる。

しかし行動を左右していた考えなどは、潜在的な意識に落ちている可能性は現実にあり得る。
「感じることはできるが言葉には言い表せない」
「まだ気づいていないが、言われれば気づくことが出来る」
「認識はしていないが、自分の行動や感情に確実に影響している」
ことなどがそれにあたる。

1950年代ニューヨークで、エレベーターの待ち時間が長いことが問題となっていたが、
これを解決したのが「鏡」を設置することであった。

これは人々が抱える潜在的な課題を解決した良い例である。

Hypothesize(仮説設計)

PIEフレームワーク

ページ階層ごとに、3つの指標をウェイト付け。

• Potential(ポテンシャル)・・・どれくらい改善の余地があるか？
• Importance(重要度)・・・そのページにとってトラフィックがどれくらい重要か？
• Ease(容易さ)・・・テストを、ページやテンプレートに実装するのはどれくらい技術的に、社内政治的に大変なものか？

※ホームページ、チェックアウトフォーム、商品ページに対して3つの指標からスコアリング。上記の例では、PIEスコアが最も高いのはホームページであった。

ここから各問題点毎に、優先度付けを行っていく。Invespでも独自の優先度付けモデルを使用している。

問題点の要素

• 潜在的なインパクト
• 調査のどの過程で見つかったか？
• アボブザフォールド(ファーストビュー)

テストアイディア

• テストを実施することで主要コンバージョンに良い影響はあるか？
• 実装の難易度はどれくらいか？(社内政治的な意味でも)
• 訪問者の信頼を向上させるものか？
• テストアイディアはユーザーのFUDs(恐れ、不安、疑念)を減少させるものか？
• 訪問者の行動を促すものか？
• エンゲージメントを高めるものか？
• 変更の種類は？
• ページの種類は？
• どれくらいのページを閲覧したか？

優先度付けを行い、最終的には以下の形に集約する。

※各サイト内の課題点毎にグルーピングを行い、右列のPriorityで優先度をまとめている。

Implement(実行)

仮説設計が完了したら、テストを通して検証を行う。しかしABテストを行う際は、統計的に適切なサンプルサイズを対象としなければ、誤った帰結を得てしまう可能性がある。

偽陽性と偽陰性

テストを行い、誤った帰結を得てしまうパターンには、大きく分けてFalse Positive(偽陽性)、False Negative(偽陰性)の2種類がある

• False Positive(偽陽性) / タイプ1エラー・・・誤っていることを正しいと結論づける。 (例：あなたは妊婦ですという医者。事実、患者は妊婦でない。)
• False Negative(偽陰性) / タイプ2エラー・・・正しいことを誤っていると結論づける。 (例：あなたは妊婦ではないという医者。事実、患者は妊婦。)

検出力(Power)と有意(significance≒confidence)

• 検出力(Power)・・・もし検出力を80％に設定すると、タイプ2エラーを起こす確率が20％くらいということになる。実際は正しいのに、誤っていると判断してしまうリスクを下げるためには検出力を高く設定する。
• 有意(significance≒confidence)・・・有意を95％に設定すると、タイプ1のエラーを起こす確率が5％以下という事である。実際は誤っているのに、正しいと判断してしまうリスクを下げるためには有意を高く設定する。

テスト期間の試算

AB test size calculatorより試算を行うことが出来る。
テストページからのコンバージョン率を入力
キーとなる指標の予測改善率を入力
該当ページのユニークユーザー数を入力
検出力(Power)と有意(significance≒confidence)を選択
以上の手順から、ABテストに必要な期間を試算することが出来る。

Propagate(展開)

テスト結果が得られたら、そこからの気づきを展開していく。

明らかにすべきこと

• 結果はどのようなものだったか？
• そこから何を学んだか？
• 次のステップは何か？

セグメント分けは重要

常にデバイスでのセグメントは行う
セグメントをしすぎる前に、トラフィックの量を考慮する
トラフィックが十分だったか

次のステップ

• 反復する
• ピボット(妥当でない仮説が得られた場合)
• より深く調査する(Investigate Further)
• 他の調査可能範囲(Research Opportunity)に対して、新しくテストを行う

反復

反復には様々なアプローチの方法がある。

• バリエーションをテストするセグメントを選びなおす
• そのセグメントでは適用されなかった他のバリエーションを試してみる
• 勝ちパターンvsオリジナルパターンの2者でテストをやり直す

反復のサイクル

※(上から順に)改善するコンバージョンを決める ⇒ 仮説の変更 ⇒ 変数を特定し生成する ⇒ テストを実施する ⇒ 結果を測定する

ピボット

妥当でない仮説が得られてしまった場合、どこが誤っていたかを調べる。

• 仮説が誤っていたのか？
• データセットが誤っていたのか？
• 解決策が誤っていたのか？

より深く調査する(Investigate Further)

テスト結果を解析し、ユーザーに影響を与えているというデータが十分に集まっているのならば、ABテストやユーザビリティテストなどでの調査可能範囲(Research Opportunity)として扱う。

エントリーフォームの例

このページにおける離脱率が高く、カスタマーインタビュー等でこのページの情報には懸念があることを表していたので、
我々はページをより読みやすくシンプルにし、インセンティブを含むことで、離脱率を低下させ、コンバージョン率を10％上げることが出来ると考えた。

そして、この仮説を基にテストを実施した。

しかしテストの結果、コンバージョン率が10％低下してしまった。

そこで、計算式の箇所の情報がユーザーの認識を低下させていると仮説を変更し、計算式の箇所のシンプル化を行った。

その結果、コンバージョン率は35.4％向上した。

他の調査可能範囲(Research Opportunity)に対して、新しくテストを行う

• 貴重な情報はテストのインサイトから来る
• その情報を優先度付けシートに入れ込む
• すでにテストで検証された項目ごとに、優先順位をつけて実施する。

世界が取り組むCRO

「実験の数を100から1000に増やすことが出来たならば、生み出すイノベーションの数も劇的に増えるであろう。」― Amazon CEO ジェフ・ベソス氏

「Facebookのフロントのメンバーは、上司の許可なく1～10万規模のユーザーに自身で考えたテストをして良いことになっている。実際、Facebook上では常に何万もの実験が行われている。この仕組みは官僚的な階級制度や、無駄なミーティング、政治を排除している。」― Facebook CEO マーク・ザッカーバーグ氏

コンバージョン最適化はリニアではなく、顧客ドリブンなものである。

アヤット氏インタビュー

世界のトップレベルCROストラテジストと話す絶好の機会という事で、ご本人に直接インタビューをしてきました。

SEO Japan：早速ですが、13年間アメリカでCROの推進をしてきた中で、どのような障害に直面しましたか？日本ではSEOとCROの管轄部署の違いなどが課題になっています。

アヤット氏：私がCROを始めたころは、責任者に話をしても「CRO？何の略？SEOじゃないの」という感じだったわ。だからまずはこういうカンファレンスでCROのイントロダクションなどを通して彼らを教育して、興味を持ってくれるような会社に対してはなぜCROが重要なのかを伝えるところから始めたわ。
でも彼らからマーケティングの予算をとる時は、オンラインでのデータ等を見せるようにしていたわね。

SEO Japan：では、そのデータをベンチマークとして企業に提示していたんですね？

アヤット氏：その通り。証拠を見せるのが最も簡単なコミュニケーションの方法だからね。特に「これだけ収益を逃しているのよ」というデータは効果的ね。「なんでみすみすこれだけのユーザーを見逃してしまっているの？」ってね。

SEO Japan：それは理解しがたいですね。

アヤット氏：そう。彼らには「今あなたたちはたしかにこれだけの収益を上げているけど、本来は○○ドル上げられるチャンスがあるのに見逃してしまっているの。」と言ったわ。日本なら、円(YEN)ね 笑。 彼らにとっては切実な問題だから、サイトに訪れた後のコンバージョンを改善してあげる必然性が生まれるのね。

SEO Japan:なるほど。

SEO Japan：もし提案先がSEO対策もしておらず、十分なトラフィックを得ていない小さな企業のような場合はCROサービスは提供していなかったのですか？

アヤット氏：もちろん流入のある大きな会社に対してもそうだけど、小規模な会社に対してもユーザビリティの改善等は行っていたわ。
たとえ規模が小さかったとしても、決定的な欠陥が無くユーザーが使えるようにするのはトラフィックを増やすのと同じようにやるべきことなのよ。

SEO Japan：(ワークショップで言及していた)「Fix it Right Away(すぐに直すべきこと)」を無くせってことですね？

アヤット氏：小さな会社ならば、大体がRight Away(すぐにやるべきこと)ね。

SEO Japan：CROの提案をするにはどれだけのトラフィックが必要と考えてましたか？

アヤット氏：私たちはコンバージョンに基づいて、提案するかを考えていたわ。ワークショップで見せたスライドで100～150CVくらいと見せたけど、統計的優位性を考えるとそれくらいね。
でももし、この水準に達していない会社に提案をすることになったとしましょう。それでもテストをしなければならないときは、ページ単位での遷移を見たわ。購入だけがコンバージョンではないの。

SEO Japan：つまりマイクロコンバージョンを設定したと？

アヤット氏：そうマイクロコンバージョン。だからゴールは「このボタンをクリックするか」というところになるわね。

SEO Japan：サブスクリプションに結び付くかなどもこれに入るわけですね。

SEO Japan：最近巷ではAIに関連する商品やサービスなどがあふれていると思いますが、AIとCROが組み合わさるとどのようなことが起きるでしょうか？

アヤット氏：実際、AIを使って次にテストすべきことを予想するようなテストエンジンなどはもう生まれているわよね。でも、私はこれに対しては少し懐疑的だわ。
なぜならCROで大事なのは顧客に「共感」することだと考えているからよ。これはロボットにできるかしら？
ロボットはデータをアウトプットすることには優れているかもしれないわね。でもCROではそのデータから意味を導き出して、顧客のインサイトを理解することが必要。その点においては人間の方が優れているから、AIにCROストラテジストの仕事をさせるのは難しいと思うわ。
それらの技術をどのように使うかをどう使うかを考えるべきだけど、少なくとも現状のAIには限界があると思う。でも、特に日本はエンジニアが優秀なエンジニアがいるから、優れたものが生まれると思うわ。

SEO Japan:Optimizely、VWO、Google Optimizeなど様々なCROツールがあると思いますが、アヤットさんから見て、最も有用なツールは何でしょうか？
アヤット氏：それぞれにプロコンがあって、費用も違うから一概に言うのは難しいわね。マーケティングのツールは市場に6000もあると言われていて、それぞれが必要なシチュエーションにおいて役割があると思うわ。