> For the complete documentation index, see [llms.txt](https://docs.wicle.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.wicle.io/other/faq/how-to-use/ab-test.md).

# A/Bテストの使い方

A/Bテストの始め方、配信前の確認、表示されないときの調べ方、結果の判断と終了方法に関するFAQです。

## コードを書けなくても使えますか？サイトの改修は必要ですか？ <a href="#no-code" id="no-code"></a>

はい。AIとのチャットやテンプレートから、バナーの表示や既存の文言変更などの施策を作成できます。対象サイトにWicleの計測タグが設置されていれば、施策ごとにサイトのソースコードを編集する必要はありません。

新規作成やAIによる編集には、Wicle AIの有効化が必要です。AIが作成した内容も、配信前に実際のページで見た目と動作を確認してください。

詳しくは [A/Bテストの利用条件](https://docs.wicle.io/action/experiment.md#prerequisites) と [A/Bテストの施策を作成する](https://docs.wicle.io/action/experiment/create.md) をご覧ください。

## 無料でどこまで試せますか？いつから料金が発生しますか？ <a href="#free-and-paid" id="free-and-paid"></a>

本番環境のプロジェクトで計測タグの設置が確認されると、14日間の無料トライアルが始まります。この期間は、A/Bテストの同時配信件数・月間配信UUの制限がありません。無料トライアルは1組織につき1度です。有料オプションを契約しなければ、終了後は無料プランへ移り、A/Bテストの料金は発生しません。

無料プランでは、各プロジェクトで同時配信1件・月間配信UU 1,000まで利用できます。配信UUは、施策が表示されたユーザー数です。制限を外すには、組織の `プラン・請求` からA/Bテストの有料オプションを契約します。料金は有料契約時から発生します。

トライアル中・有料契約中でも、イベント計測の上限に達すると配信は止まります。また、メインプランやほかの有料オプションの契約に応じた料金は別途発生します。詳しくは [無料トライアルと無料枠](https://docs.wicle.io/action/experiment.md#getting-started-experiment) と [オプション機能の契約・料金](https://docs.wicle.io/organization-project/organization-setting/billing.md#optional-features) をご覧ください。

## AIには何を伝えると、意図した施策を作れますか？ <a href="#ai-prompt" id="ai-prompt"></a>

対象ページ、改善したいこと、表示する場所、文言・見た目、クリック後の動作を具体的に伝えてください。変更したくない箇所も添えると、修正の範囲を伝えやすくなります。

たとえば、次のように依頼できます。

> 料金ページで無料相談への申し込みを増やしたいです。PC向けに、画面右下へ「料金について相談する」という青いバナーを追加してください。クリックすると `/contact` に移動し、閉じるボタンも付けてください。既存の料金表は変更しないでください。

表示位置を言葉で伝えにくい場合は、`位置指定` で実際のページ上の位置を指定できます。配信対象や成果として数えるイベントも、作成後に `配信設定` と `評価設定` で確認してください。

詳しくは [AIエージェントとの対話](https://docs.wicle.io/action/experiment/create.md#agent) をご覧ください。施策のアイデアから相談したい場合は [AIに施策を提案させる](https://docs.wicle.io/action/experiment/ideation.md) も利用できます。

## 一般のお客様に表示せず、自分だけで動作を確認できますか？ <a href="#private-preview" id="private-preview"></a>

はい。配信前の施策で `実ページで確認` を使うと、確認用に開いたページへ、このブラウザだけで編集内容を一時的に適用できます。この操作では一般のお客様への配信は始まりません。

簡易プレビューは見た目の確認に使い、リンク先、閉じるボタン、既存ページへの影響などは実際のページで確認してください。プレビューでは、A/Bテストの表示・操作・エラーの計測イベントは送信されません。

操作方法は [実ページで確認する](https://docs.wicle.io/action/experiment/create.md#live-preview)、計測の扱いは [プレビュー中のイベント](https://docs.wicle.io/action/experiment/events.md#preview) をご覧ください。

実際の配信・計測も確認したい場合は、URLの末尾に `#test` を付けたときだけ配信する方法もあります。この方法では、同じURLを開いた人は配信対象になり、確認中の表示や操作も通常の配信結果に含まれます。

たとえば、`https://example.com/pricing#test` で確認する場合は、配信前の施策で次のように設定します。

1. `配信設定` の `配信ページ` で `ページを指定` を選び、`URL`・`完全一致`・`https://example.com/pricing` の条件を設定します。
2. `AND条件を追加` で別のグループを作り、`URLアンカー`・`完全一致`・`test` の条件を設定します。値に `#` は付けません。
3. 保存して `配信開始` を実行し、反映後に `https://example.com/pricing#test` を開いて確認します。すでに開いている場合はページを再読み込みします。

この設定では、`#test` の付いていない通常のURLは配信対象になりません。`URL` の条件だけでは `#` 以降を判定しないため、必ず `URLアンカー` の条件をANDで追加してください。ほかのデバイス条件や表示回数の制限なども適用されます。配信中の施策を変更する場合は、先に `一時停止` し、設定を変更・保存してから `再開` します。

コントロール（変更しない案）に割り当てられた場合は、見た目が変わりません。変更案を指定して確認する方法は [Chrome拡張のバリアントの強制割り当て](https://docs.wicle.io/action/experiment/debug.md#force-variant) をご覧ください。

確認が終わったら `一時停止` します。一般向けに配信する場合は、停止中に確認用の `URLアンカー` 条件を外し、ほかの配信条件も確認してから再開してください。アンカー条件を外すと、通常のURLを開いたお客様も配信対象になります。設定の詳細は [配信ページのURL条件](https://docs.wicle.io/action/experiment/settings.md#url-conditions) をご覧ください。

## AIレビューで問題がなければ、そのまま配信して大丈夫ですか？ <a href="#ai-review" id="ai-review"></a>

AIレビューに加えて、実際のページでの確認も必要です。AIレビューは設定の抜け漏れやコードの問題を見つけるための補助で、実際のページでの正常な動作を保証するものではありません。

配信前に `実ページで確認` で見た目・操作・リンク先を確かめ、`評価設定` の成果イベントと `配信設定` の対象ページ・ユーザー・配信比率も確認してください。コードを修正した場合は、保存してから再レビューします。

レビューの実行だけでは配信は始まりません。確認後、ヘッダーの `配信開始` または `配信予約` から実行します。詳しくは [AIレビュー](https://docs.wicle.io/action/experiment/delivery.md#pre-check) をご覧ください。

## 配信を開始したのに、自分の画面に表示されないのはなぜですか？ <a href="#not-displayed" id="not-displayed"></a>

変更を加えない比較案である「コントロール」に割り当てられた場合や、配信条件を満たしていない場合は、画面に変更が出ません。次の順で確認してください。

1. 施策が `配信中` になっているか、施策一覧の上部に上限到達などの配信停止の案内がないかを確認します。
2. 対象ページに正しいプロジェクトの計測タグがあり、URL・デバイス・ユーザーの条件に一致しているかを確認します。
3. 表示回数・表示間隔の制限や、閉じた後に再表示しない設定に該当していないかを確認します。
4. 配信開始から数分待っても表示されない場合は、Chrome拡張の `Wicle` → `Experiments` タブで、割り当てられた案、不配信の理由、実行エラーを確認します。

操作方法は [Chrome拡張で配信判定を診断する](https://docs.wicle.io/action/experiment/debug.md#diagnose) をご覧ください。配信前に変更案の見た目を確認したい場合は [実ページで確認](https://docs.wicle.io/action/experiment/create.md#live-preview) を使えます。

## 同じ人には毎回同じ案が表示されますか？ <a href="#same-variant" id="same-variant"></a>

同じブラウザに割り当て情報が保存されていれば、原則として同じ案が表示されます。途中で配信比率を変えても、すでに割り当てられたブラウザの案は変わりません。比率を0%にした案も、既存の割り当てでは表示されることがあります。

別の端末・ブラウザを使う場合や、ブラウザの保存情報を削除した場合は、別の案になることがあります。また、トリートメント（変更案）を `採用` すると、配信対象には採用した案が100%配信されます。

同じ案に割り当てられていても、配信条件や表示回数の制限を満たさなければ表示されません。詳しくは [配信比率と割り当て](https://docs.wicle.io/action/experiment/settings.md#variants) をご覧ください。

## 何も操作していないのに、配信が止まることはありますか？ <a href="#automatic-stop" id="automatic-stop"></a>

はい。終了日時や利用上限、トライアル後の無料プランへの切り替えによって止まることがあります。

| 原因                       | 確認・対応                                                     |
| ------------------------ | --------------------------------------------------------- |
| 設定した終了日時を過ぎた             | 施策は `終了` になります。再びテストする場合は複製します                            |
| イベント計測の上限に達した            | A/Bテストがトライアル・有料プランでも配信が止まります。イベント計測の上限や利用状況を確認します         |
| A/Bテスト無料プランの月間配信UU上限に達した | 翌月に自動で再開します。有料オプションを契約して制限を外すこともできます                      |
| 無料プランへの切り替えで、同時配信が1件を超えた | 各プロジェクトで直近に配信・再開・採用を開始した1件が残り、ほかは一時停止または終了します。自動では元に戻りません |

利用上限による配信停止では、施策のステータスが `配信中` のままの場合もあります。まず施策一覧の上部の案内を確認してください。

詳しくは [配信が一時停止される場合](https://docs.wicle.io/action/experiment.md#delivery-suspension) と [イベント計測の上限到達時の扱い](https://docs.wicle.io/action/experiment/event-limit.md) をご覧ください。

## 成果として、どのイベントを設定すればよいですか？ <a href="#conversion-event" id="conversion-event"></a>

購入完了や申し込み完了など、その施策で増やしたい行動を選んでください。バナーから購入を増やしたい施策なら、バナーのクリックだけでなく、購入完了を成果として設定すると目的に合った比較ができます。

施策の `評価設定` → `コンバージョンイベント` で、カスタムイベントまたはコードレスイベントを最大5件選び、判定の中心にする1件を `主目標` にします。未設定では効果測定の判定が表示されないため、配信前に設定・計測を確認してください。

施策内のクリックや閉じる操作は、反応を調べるための別の計測です。それだけで購入や申し込みの完了として数えられるわけではありません。詳しくは [コンバージョン設定](https://docs.wicle.io/action/experiment/settings.md#conversion) をご覧ください。

## 何日くらいテストを続ければ、結果を判断できますか？ <a href="#test-duration" id="test-duration"></a>

一律の日数では決まりません。施策が表示される人数、成果が発生する頻度、案同士の差によって、判断に必要なデータが集まるまでの期間が変わります。

`配信状況` の効果測定で、判定と必要なサンプル数への進捗を確認してください。`データ蓄積中` や `暫定` の段階では、現在の数値だけで優劣を決めず、データを蓄積します。配信数が増えない場合は、対象条件が狭すぎないか、配信が止まっていないかも確認します。

詳しくは [効果測定の判定と進捗](https://docs.wicle.io/action/experiment/delivery.md#evaluation) をご覧ください。

## CVRが高い案を、すぐに採用してもよいですか？ <a href="#choose-winner" id="choose-winner"></a>

CVR（施策が表示されたユーザーのうち、成果に至った割合）の高さだけでは判断できません。データが少ない段階では、偶然の差が大きく見えることがあります。

`配信状況` で `改善（有意）` などの判定を確認し、エラーや配信数の偏りの警告もあわせて確認してください。`優勢の傾向（暫定）` は確定前の参考情報です。`有意な差なし` も、効果が同じ、または効果がないと断定する意味ではありません。

採用すると、選んだ変更案の100%配信に切り替わります。詳しくは [判定の意味と推奨アクション](https://docs.wicle.io/action/experiment/delivery.md#evaluation) をご覧ください。

## 配信中に文言や比率を変えられますか？結果はリセットされますか？ <a href="#edit-running-test" id="edit-running-test"></a>

配信中の施策を `一時停止` すると、文言などの内容や配信比率を変更できます。変更後は保存して `再開` します。配信中にそのまま編集できるのは、スケジュールと施策名・説明です。

結果はリセットされず、変更前後のデータが同じ集計に含まれます。また、配信比率の変更は新たな割り当てに反映され、すでに割り当てられたブラウザでは同じ案が続きます。

変更前後を分けて比較したい場合は、施策を複製して新しいテストを始めてください。複製には元の配信結果は引き継がれません。詳しくは [一時停止・再開・複製の操作](https://docs.wicle.io/action/experiment/delivery.md#operations) をご覧ください。

## 「一時停止」「終了」「採用」は何が違いますか？元の表示に戻せますか？ <a href="#pause-end-adopt" id="pause-end-adopt"></a>

再開する予定があれば `一時停止`、テストを終えて配信も止めるなら `施策を終了`、変更案を継続して表示するなら `採用する` を選びます。

| 操作    | その後の配信                      | 編集・再開                                     |
| ----- | --------------------------- | ----------------------------------------- |
| 一時停止  | 配信を止めます                     | 内容を編集してA/Bテストを再開できます                      |
| 施策を終了 | 配信を止めます                     | 内容の編集やA/Bテストの再開はできません。終了後に変更案を採用することはできます |
| 採用する  | 選んだ変更案を、配信条件に合う対象へ100%配信します | 内容は編集できません。スケジュールは解除され、設定していた終了日時でも止まりません |

採用した案の表示を止める場合は、`採用を取り消して終了` を選びます。配信停止のために施策を削除する必要はありません。

停止の反映には数分かかる場合があります。すでに開いているページの表示がすぐに元へ戻るとは限らないため、反映後にページを再読み込みして確認してください。詳しくは [配信を開始・停止する](https://docs.wicle.io/action/experiment/delivery.md#operations) をご覧ください。

## テストを終了したのに、コンバージョン数が増えるのはなぜですか？ <a href="#conversions-after-end" id="conversions-after-end"></a>

施策が表示された後、時間を置いて購入や申し込みに至る場合も数えるためです。効果測定の対象期間は、配信開始から、最初に施策を終了または採用した時刻の24時間後までです。その期間内に発生し、施策の表示後という条件を満たすコンバージョンが集計されます。

この24時間は、イベントを集計対象にする期間です。画面への反映には別途時間がかかるため、「終了から24時間後に必ず最終値が表示される」という意味ではありません。

採用後も `配信UU` などの配信実績は増えますが、効果測定期間を過ぎたイベントはCV・CVR・判定に含まれません。詳しくは [配信実績と効果測定期間](https://docs.wicle.io/action/experiment/delivery.md#delivery-stats) をご覧ください。
