- 2011年1月10日 00:36
- 07.実践編
LPOだけじゃなく、サイト改善にも有効なのがA/Bテスト（えーびーてすと）です。ツールとしてはGoogle Website OptimizerとかOmniture Test&Targetを使ったりしますね。まったく違う複数（基本は2）のページをランダムに出し分け、どっちがコンバージョン率が高いかを競うテストです。
さあテストやっぞ、オラワクワクすっぞ、みたいなノリでテストに向かうんですが、どんなテストをやるか（＝どんなコンテンツを作るか）は、ちゃんと考えないといけません。よくあるのは、まったく違う２種類のページを作ってAB出し分けするケース。これ、まったく意味がありません。
テストに対する誤解
レイアウトも色使いもファーストビューコンテンツもリンクアンカーテキストもバナーの種類も大きさも内容も全部違う2ページがあって、どっちがよかったか、という大雑把なものじゃないよ。というのが、そろそろ見えてきた解だと思ってます。
テストの目的は、「どっちが良かったか」を決めることじゃなくて「何が決め手になったか」をはっきりさせることだからです。
つまり、
- レイアウト
- 色使い
- トップ画像
- リンクアンカーテキスト
- バナー画像
などについて、１カ所違うだけのものを２ページ用意する、というABテストが方法論上、正しいです。そうすると、バナーは「大安売り」より「手数料０円」のほうがいいんだな、とか、商品へのリンクは「こちらをクリック」じゃなくて「詳細を見る！」のほうがいいんだな、とかが見えてきます。
そんな小さい違い１個につき１回テストをしてみて（期間は適当。１週間ないし２週間程度。PVが多ければ１日とかでもOK）、だんだんサイトを良くしていくのがテストです。
とはいえ、テストすりゃいいってもんじゃない
ところが、この画面に約5,000ずつ程度のアクセスを集めてフォームのコンバージョン率を測定したところ・・・
全く同一の画面から22.5%ものコンバージョンの違いが生じてしまったのが分かります。
A/Bテストは意味がない？というお話 | SEM-LABOとか、これは恐ろしい！全く同じ画面でA/Bテストを実施したら・・・ | Feel Like A Fallinstarにもあるように、テストをしても正しくて納得のいく結果を得られないかもしれません。
コンバージョンって、0.1%の上下を喜んだり悲しんだりするものなのに、10%以上の差異が出たテストそのものが「誤差」で終わってしまう可能性もあります。それに、別の期間で同じテストをしたら全然違う結果が出ることって、よくあります。
じゃあテストする必要ないじゃん、という話に落ち着くんですが、期間を区切ってテストすることで、無理矢理にも勝敗をつけることができるというのがポイントなのかも。究極的にはどっちでもいいのかもしれないけど、何を言っても聞かないデザイナーに対してテストの結果を出して「数字的にこっちのほうがよかったから今回はこれでいきましょう、両方とか折衷案はありません」みたいな強気に出れたり、定性的な評価しかできないことを定量的に評価することとして使えたり、ユーザへの無言のアンケートとしての側面もあるかな、と思えば全部無駄ってわけじゃあない気もしています。
別の視点で見てみれば、ページ単位の最適化を何ページかやれば、サイト全体への傾向も見えてきます。そうなったら次はサイト全体のリニューアルの提案もできるかも。そのとき、継続的な改善としてABテストオプションを入れておけば継続的にお金もらえるかも、みたいなセコい発想もできますね。
実際は、面倒で地味な作業の繰り返しなので楽しいものじゃないんですが、Webの改善っていって一番気軽にできるのはA/Bテストかもしれない。