> For the complete documentation index, see [llms.txt](https://docs.wicle.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.wicle.io/action/experiment.md).

# A/Bテスト

AIとの対話でコードを生成し、サイト上でA/Bテストを実施して効果を統計的に検証できる機能です。

## A/Bテストとは <a href="#about" id="about"></a>

WicleのA/Bテストでは、対象サイトにJavaScript・CSS・HTMLを配信して、ページの表示やレイアウトを変更できます。変更を加えていないコントロールと、変更を加えたトリートメント（最大4案）を出し分け、コンバージョン率などの指標で効果を比較します。

コードはAIエージェントとの対話やテンプレートから生成できるため、サイトのソースコードを直接編集することなく施策を試せます。

<figure><img src="https://1516189518-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FhDtk9aBzYOvC8RRWtKCd%2Fuploads%2FSyXBSTkp50N1XNZdKOrD%2Fimage.png?alt=media&amp;token=ca817d00-22f3-4b08-baac-2a1f941679c4" alt=""><figcaption></figcaption></figure>

## できること <a href="#features" id="features"></a>

* AIエージェントとの対話、またはテンプレートから施策コードを生成できます
* コントロール1案とトリートメント最大4案の、複数の案を比較するテストに対応しています
* URL・デバイス・ユーザー属性・スケジュール・配信比率で、配信対象を細かく制御できます
* コンバージョンイベントをもとに、リフト率・信頼区間・p値で効果を統計的に判定できます
* 改善対象ページをAIが分析し、施策案を手動またはホーム画面から自動で提案させることもできます

## ご利用の開始方法 <a href="#getting-started-experiment" id="getting-started-experiment"></a>

計測タグの設置後に14日間の無料トライアルが始まり、施策の作成・配信が利用できます。無料トライアルは1組織につき1度です。トライアル終了後は無料プラン（制限付き）または有料プランへ移行します。

| 段階               | 説明                                          |
| ---------------- | ------------------------------------------- |
| タグ未設置            | 施策画面に「タグを設置すると14日間の無料トライアルが開始されます」と表示されます   |
| 無料トライアル（14日間）    | 配信制限なしでA/Bテストを試せます                          |
| 無料プラン            | 同時配信1件・月間配信UU 1,000まで。上限に達すると翌月まで配信が一時停止します |
| 有料プラン（¥15,000/月） | 配信制限なし。プラン・請求画面から契約できます                     |

料金の詳細は [組織のプラン・請求](https://docs.wicle.io/organization-project/organization-setting/billing.md) と [プランごとの機能・上限一覧](https://docs.wicle.io/billing/plan-comparison.md) をご覧ください。

## 全体の流れ <a href="#flow" id="flow"></a>

A/Bテストは次の流れで進めます。

1. **施策を作成する** — 一覧の `チャットから作成` または `テンプレートから作成` から、施策のコードを用意します
2. **配信設定をする** — 配信対象のURLやバリアントの比率、スケジュールを `配信設定`、成果を数えるコンバージョンは `評価設定` で設定します
3. **プレビューで確認する** — 簡易プレビューで見た目を、`実ページで確認` で動作を確認します
4. **AIレビューをする** — `AIレビュー` タブで設定の抜け漏れ、コードレビュー、配信規模の目安を確認します
5. **配信を開始する** — すぐに配信を始めるか、開始日時を指定して予約できます。終了日時を設定している場合は、その日時で自動終了します
6. **効果を測定する** — 配信実績、統計検定の結果、AIの施策評価から、施策を採用するか判断します
7. **バリアントを採用する** — 効果測定の結果から、採用するトリートメントを選んで100%配信し続けるか、施策を終了します

## 一覧画面の見方 <a href="#list" id="list"></a>

A/Bテスト画面では、施策の一覧を確認できます。

* ステータスタブ（`すべて` / `下書き` / `予約中` / `配信中` / `一時停止` / `終了` / `採用済み` / `アーカイブ`）で絞り込めます。`すべて` ではアーカイブ以外が表示されます
* `施策名で検索` から施策名で検索できます
* `自分が作成したもののみ` をオンにすると、自分が作成した施策だけを表示できます
* 各施策には、プレビュー・施策名・ステータス・配信ページ・スケジュールと、バリアントごとの配信UU・クリックUU・クリック率・CV UU・CVR・リフト率・エラーが表示されます
* `配信ページ` にはURL条件の概要が表示されます。未設定の場合は `すべてのページ` です
* スケジュールは `MM/DD HH:mm 〜 MM/DD HH:mm` の形式で表示されます。未設定の場合は `—` です
* 会話数（AIチャットのユーザー送信回数）とコード行数（全バリアントの JS+CSS+HTML 合計）も確認できます
* 複数選択して、一括でアーカイブ・アーカイブ解除・削除ができます。施策の状態によって実行できる操作は異なります。行メニューからは複製・削除を、編集画面のメニューからはアーカイブも操作できます

右上の `AIに提案させる` で改善案を生成できます。作りたい内容が決まっている場合は `チャットから作成`、バナーやモーダルなどの形から選ぶ場合は `テンプレートから作成` を使います。

## ご利用の前提 <a href="#prerequisites" id="prerequisites"></a>

A/Bテストを利用するには、次の条件を満たす必要があります。

* 対象サイトにWicleの計測タグが設置されていること
* 新規作成やAIによる編集を使う場合は、Wicle AIが有効化されていること（`自分で実装する` から新規作成する場合も必要です）

{% hint style="info" %}
計測タグの設置については [計測タグの設置・設定](https://docs.wicle.io/initial-setting/tag.md)、Wicle AIの有効化については [AI機能の提供ポリシー](https://docs.wicle.io/ai/policy.md) をご覧ください。
{% endhint %}

### 配信が一時停止される場合 <a href="#delivery-suspension" id="delivery-suspension"></a>

次の場合、組織またはプロジェクトのすべての施策の配信が一時停止されます。条件が解消されると自動で再開します。

| 原因                         | 挙動                                    |
| -------------------------- | ------------------------------------- |
| イベント計測の上限到達                | イベント計測が再開されると配信も再開されます                |
| 無料プランの月間配信UU上限（1,000 UU）到達 | 翌月に自動で再開されます。有料プランへアップグレードすると即時再開できます |

施策一覧の上部に、トライアル残日数・無料プランの利用状況・一時停止の理由がバナーで表示されます。

無料プランへ切り替わると、各プロジェクトで継続できる配信は1件です。配信中・採用済みの施策が2件以上ある場合、直近に配信・再開・採用を開始した1件を残し、ほかは `配信中` から `一時停止`、`採用済み` から `終了` へ自動で変更されます。この変更は、月間配信UU上限による一時停止とは異なり、上限の解消後も自動では元に戻りません。

## 注意点 <a href="#notes" id="notes"></a>

{% hint style="warning" %}
施策はブラウザ上で実行されるため、既存の要素を変更する施策では、ページ表示の直後に一瞬だけ変更前の状態が見える場合があります（フリッカー）。ファーストビューでの変更はプレビューを入念にご確認ください。
{% endhint %}

{% hint style="warning" %}
対象サイトにContent Security Policy（CSP）を設定している場合、A/Bテストの配信に使う `cdn.wicle.io`（配信設定・コード）と `img.wicle.io`（画像）が許可されている必要があります。許可されていないと施策が配信されません。設定方法は [CSPによりタグがブロックされていないか確認する](https://docs.wicle.io/other/troubleshoot/tag/check-csp.md) をご覧ください。
{% endhint %}

## 各機能の使い方 <a href="#guides" id="guides"></a>

{% content-ref url="/pages/MUbTF6tfInyufFPXCP3q" %}
[A/Bテストの施策を作成する](https://docs.wicle.io/action/experiment/create.md)
{% endcontent-ref %}

{% content-ref url="/pages/90XuAcbJqhAuaSejXj0V" %}
[A/Bテストの施策を自分で実装する](https://docs.wicle.io/action/experiment/create/diy-coding.md)
{% endcontent-ref %}

{% content-ref url="/pages/ay73EkdMhTnDckIdLtow" %}
[A/Bテストの配信設定](https://docs.wicle.io/action/experiment/settings.md)
{% endcontent-ref %}

{% content-ref url="/pages/SebfPztI7QbPi7vI0znG" %}
[A/Bテストの配信と効果測定](https://docs.wicle.io/action/experiment/delivery.md)
{% endcontent-ref %}

{% content-ref url="/pages/7PHHPBihRYwRaY68iJla" %}
[AIでA/Bテストの施策案を生成する](https://docs.wicle.io/action/experiment/ideation.md)
{% endcontent-ref %}

{% content-ref url="/pages/VHZOZhaFshCevvYI10Kx" %}
[A/Bテストで計測されるイベント](https://docs.wicle.io/action/experiment/events.md)
{% endcontent-ref %}

{% content-ref url="/pages/mo81CkBfe7sWKcorHfYl" %}
[イベント数上限とA/Bテストの配信](https://docs.wicle.io/action/experiment/event-limit.md)
{% endcontent-ref %}

{% content-ref url="/pages/4piGIwUlo3jtrWb60nMH" %}
[Chrome拡張でA/Bテストの動作を確認する](https://docs.wicle.io/action/experiment/debug.md)
{% endcontent-ref %}
