> For the complete documentation index, see [llms.txt](https://docs.wicle.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.wicle.io/action/experiment/delivery.md).

# A/Bテストの配信と効果測定

WicleのA/BテストでAIレビューを確認し、配信を開始・停止・管理する手順と、配信実績・コンバージョン・統計的な効果判定の見方を説明します。

施策の編集画面から配信を開始・停止し、`配信状況` で成果を確認します。

1. デザイン、評価設定、配信設定を確認し、編集内容を保存します。
2. `AIレビュー` で設定の抜け漏れやコードの指摘を確認します。必要な修正後は再レビューします。
3. ヘッダーの `配信開始` または `配信予約` から、確認画面で実行を確定します。
4. 配信開始後、`配信状況` で配信UUやコンバージョン、効果の判定を確認します。

`レビュー` を実行しても、サイトへの配信は始まりません。

## 施策のステータス <a href="#status" id="status"></a>

施策は次のステータスを持ちます。

| ステータス | 説明                                 |
| ----- | ---------------------------------- |
| 下書き   | 作成・編集中の状態。まだ配信されていません              |
| 予約中   | 開始日時待ちの配信予約です                      |
| 配信中   | ページ・デバイス・ユーザーなどの配信条件に合う対象へ配信する状態です |
| 一時停止  | 配信を止めている状態。再開できます                  |
| 終了    | A/B配信が終了した状態です。まだバリアントを採用していません    |
| 採用済み  | 選んだトリートメントを100%で継続配信している状態です       |
| アーカイブ | 保管した状態です。解除するとアーカイブ前のステータスに戻ります    |

### ステータスごとの編集可否 <a href="#editability" id="editability"></a>

| ステータス | 施策内容の編集 | スケジュールの編集 | 施策名・説明の編集 |
| ----- | ------- | --------- | --------- |
| 下書き   | ○       | ○         | ○         |
| 予約中   | ×       | ○         | ○         |
| 配信中   | ×       | ○         | ○         |
| 一時停止  | ○       | ×         | ○         |
| 終了    | ×       | ×         | ○         |
| 採用済み  | ×       | ×         | ○         |
| アーカイブ | ×       | ×         | ○         |

{% hint style="info" %}
施策名と説明は、ヘッダーの `基本情報` ダイアログから、上記のすべてのステータスで編集できます。開始・終了の反映には数分かかることがあります。配信内容を変更して再開する場合は、`一時停止` してから編集・保存します。
{% endhint %}

## 配信を開始・停止する <a href="#operations" id="operations"></a>

配信を止めてから編集・再開する場合は `一時停止` を選択します。`施策を終了` すると、その施策の内容を編集したり、A/Bテストとして再開したりできません。終了後も、トリートメントの採用はできます。

編集画面のヘッダーから、ステータスに応じて次の操作を行います。

| 操作          | 説明                                                                                                                         |
| ----------- | -------------------------------------------------------------------------------------------------------------------------- |
| 保存          | 編集内容を保存します。下書きでは `自動保存` をオンにすると、変更が自動で保存されます。保存中は `保存中…`、未保存のあいだは `未保存` と表示されます。自動保存をオフにしたときや、一時停止中に変更したときは、`保存` ボタンで保存します |
| スケジュールを更新   | 予約中・配信中の施策で、スケジュールのみ更新します                                                                                                  |
| 配信開始        | 下書きの施策の配信を開始します。設定したURL条件に一致するページでコードが実行されます                                                                               |
| 配信予約        | 未来の開始日時が設定されているとき、`配信開始` の代わりに表示されます。開始日時になると配信が始まります                                                                      |
| 今すぐ開始       | 予約中の施策を、予約した開始日時を待たずに配信開始します                                                                                               |
| 予約を取り消す     | 予約中の施策を下書きに戻します                                                                                                            |
| 一時停止        | 配信中の施策を止めます。再開するまでコードは実行されません                                                                                              |
| 再開          | 一時停止中の施策の配信を再開します。終了日時を過ぎている場合は終了になります                                                                                     |
| 施策を終了       | 予約中・配信中・一時停止の施策を終了します。終了後は施策内容の編集やA/Bテストの再開ができません                                                                          |
| 採用する        | 配信中または終了の施策で、選んだトリートメントを100%配信し続けます。トリートメントが複数ある場合は、採用する案を選択します。A/Bテストは終了し、採用済みになります                                       |
| 採用を取り消して終了  | 採用済みの施策の配信を止め、`終了` に戻します                                                                                                   |
| 変更履歴        | 施策の変更履歴を確認します                                                                                                              |
| アーカイブ       | 施策を保管します。下書き・予約中・一時停止・終了から実行できます（配信中・採用済みからは直接アーカイブできません）                                                                  |
| アーカイブ解除     | アーカイブを解除し、アーカイブ前のステータスに戻します                                                                                                |
| 複製 / 複製して編集 | 設定とコードをコピーし、新しい下書きを作成します。終了した施策の編集画面では `複製して編集` と表示されます。配信結果・変更履歴は引き継がれず、スケジュールは未設定になります                                   |
| 削除          | 下書き・一時停止・アーカイブの施策を削除します。関連データ・アップロード画像もすべて削除されます                                                                           |

配信操作はヘッダーのボタン、アーカイブ・複製・削除はヘッダーのメニューから実行します。終了した施策の `複製して編集` はヘッダーのボタンから実行します。確認画面で操作を確定してください。

{% hint style="warning" %}
`採用する` を実行すると、スケジュール設定はクリアされます。採用済みの施策は終了日時による自動終了の対象外になります。
{% endhint %}

{% hint style="info" %}
終了日時を過ぎた施策は配信開始できません。配信中の施策をアーカイブする場合は、先に一時停止または終了します。採用済みの施策は、`採用を取り消して終了` してからアーカイブします。解除後も、終了していた施策のA/Bテストは再開できません。
{% endhint %}

{% hint style="danger" %}
削除した施策は元に戻せません。関連するデータとアップロード画像もすべて削除されます。
{% endhint %}

## AIレビュー <a href="#pre-check" id="pre-check"></a>

`AIレビュー` タブでは、配信開始前に設定の抜け漏れ、コードの品質、配信規模の目安を確認できます。施策の要約や、他の施策との競合可能性も確認できます。`レビュー` をクリックすると、コード・競合可能性・配信規模の確認をまとめて実行します。各セクションの再実行ボタンから、個別に更新することもできます。

### 設定のチェック <a href="#checklist" id="checklist"></a>

`設定のチェック` では、評価設定と配信設定の抜け漏れを一覧できます。行の右のボタンから、該当の設定へ移動できます。

| グループ | 確認項目        | 確認内容の例                              |
| ---- | ----------- | ----------------------------------- |
| 評価設定 | コンバージョンイベント | 未設定 / 設定件数                          |
| 評価設定 | 施策内の計測要素    | トリートメントごとのクリック・閉じるの件数               |
| 配信設定 | 配信ページ       | 全ページに配信 / 指定したURL条件                 |
| 配信設定 | 配信デバイス      | 全デバイス / PC / モバイル                   |
| 配信設定 | ディメンション条件   | 未設定 / 設定件数                          |
| 配信設定 | スケジュール      | 即時開始 / 終了なし、開始・終了の日時。終了が開始以前の場合はエラー |
| 配信設定 | フリークエンシー    | 制限なし / 1回のみ / セッション1回 / カスタム        |
| 配信設定 | 配信パターン      | 合計が100%になっているか                      |

{% hint style="warning" %}
`要修正` が表示された設定は、保存・配信前に修正してください。たとえば、終了日時が開始日時以前の場合や、配信比率の合計が100%でない場合は、配信を開始できません。
{% endhint %}

{% hint style="info" %}
配信操作はヘッダーのボタンから行えます。チェックは確認用で、ここから配信は開始しません。
{% endhint %}

### コードレビュー <a href="#ai-review" id="ai-review"></a>

`コードレビュー` では、配信するコードの動作・安全性・文言をAIが点検します。施策を保存するとレビューできます。セクション右上の再実行ボタンから、最新のコードで再レビューできます。

* 指摘がある場合は、タイトル・推奨対応・対象のトリートメントが表示されます
* コード検証の指摘には `配信前に修正` または `要確認` のバッジが付きます
* 該当コードがある場合は、抜粋が表示されます
* 各指摘の `チャットで修正` をクリックすると、AI編集チャットに指摘内容が入力された状態で開きます。下書きまたは一時停止の施策でのみ利用できます
* コードを変更したあとは「コードが変更されています。再レビューしてください。」と表示されます

{% hint style="info" %}
施策を保存してからレビューできます。ビジネスサマリーが未設定の場合、ビジネスとの適合性は評価されません。Wicle AIが無効な場合や、施策が下書き・一時停止以外のステータスの場合は、`チャットで修正` を利用できません。
{% endhint %}

### 配信規模の目安 <a href="#reach" id="reach"></a>

`配信規模の目安` では、直近7日間のアクセスをもとに、URL条件にマッチする規模を確認できます。タブを開くと前回の結果が表示され、セクション右上の再実行ボタンから再計算できます。

| 項目           | 説明                                                  |
| ------------ | --------------------------------------------------- |
| ビジター         | 条件に合うURLごとのビジター数の合計。同じビジターが複数のURLを訪れると、URLごとに数えられます |
| 対象URL        | マッチしたページ数                                           |
| URL（最大30件表示） | マッチしたURLと、ビジター数・PV                                  |

{% hint style="warning" %}
配信規模の目安はURL条件だけで算出します。デバイス・ディメンション条件・表示回数の制限は加味されないため、実際の配信UUとは異なります。
{% endhint %}

## 効果測定の見方 <a href="#result" id="result"></a>

`配信状況` タブでは、配信実績と効果測定の結果を確認できます。施策を保存すると表示されます。

### 施策評価 <a href="#performance-evaluation" id="performance-evaluation"></a>

タブ上部の `施策評価` では、AIが配信実績とコンバージョン、ユーザーの反応をまとめた評価を表示します。

評価は、原則として毎週月曜日に、前週の配信実績がある施策を対象に更新されます。配信開始直後には表示されない場合があります。`途中評価` または `効果測定終了後の評価` のバッジと、観察の継続・採用の検討などの推奨が表示されます。過去の評価は `評価履歴` から確認できます。

評価対象外のときは、配信開始前であることや、前週に配信実績がないことなど、理由が表示されます。

`今回のテスト` では、評価対象の施策内容を確認できます。`施策内容・配信設定を見る` を開くと、次の情報が表示されます。

* 対象ページ、ユーザー条件、端末
* 配信期間、頻度制限
* 効果測定時と収集時の配分

設定は収集時の記録のため、測定期間全体の設定と一致しない場合があります。

`評価に使用した根拠を見る` を開くと、評価生成時に保存された統計結果と、クリック・閉じるの内訳を確認できます。現在の集計・設定と異なる場合があるため、評価期間と `判断時の注意点` も確認してください。

### 配信実績 <a href="#delivery-stats" id="delivery-stats"></a>

バリアント別に、配信とコンバージョンの実績を確認できます。`配信UU`・クリック・エラーは実際の配信期間、CV・CVR・判定は `効果測定期間` の集計です。

効果測定期間は、配信開始から、最初に施策を終了または採用した時刻の24時間後までです。たとえば10月18日15時に終了した場合、10月19日15時より前のイベントが対象です。これは集計対象の期間で、画面への反映時刻を表すものではありません。

| 項目             | 説明                                                                     |
| -------------- | ---------------------------------------------------------------------- |
| 配信UU           | 施策が表示されたユーザー数。数値をクリックするとユーザー一覧を確認できます                                  |
| クリックUU / クリック率 | 計測対象の要素をクリックしたユーザー数と、配信UUに対する割合。トリートメントのクリックUUからユーザー一覧を開けます            |
| CV UU / CVR    | 表示イベント以降にコンバージョンに至ったユーザー数と、効果測定期間内に表示されたユーザー数に対する割合。CV UUからユーザー一覧を開けます |
| リフト率           | コントロールに対するCVRの相対的な増減率。たとえば5%から6%への改善は、リフト率20%です                        |
| エラー            | 施策の実行中に発生したエラー数。数値をクリックするとエラー詳細を確認できます                                 |
| 最終配信           | 最後に施策が表示された日時                                                          |

CVRの分母は効果測定期間内の表示UUです。採用後も配信を続けた場合など、同じ行の `配信UU` とは一致しないことがあります。

トリートメント行の `操作内訳` を開くと、クリック・クローズの操作UUを要素別に確認できます。コントロール行には操作内訳は表示されません。

バリアント割当前など、バリアントに紐づかないエラーがある場合は、テーブル上部に `施策全体のエラー` として表示されます。

`日次配信UU推移` では、バリアント別の日次UUをグラフで確認できます。

### 効果測定 <a href="#evaluation" id="evaluation"></a>

設定したコンバージョンをもとに、バリアント間の効果を統計的に比較します。コンバージョンを複数設定している場合は、上部の切り替えで比較対象を選べます。

**判定カード**

現在の状況に応じて、次のいずれかの判定が表示されます。`暫定` バッジが付く判定は、統計的に確定する前の参考情報です。トリートメントが複数ある場合は、代表案をもとに判定が表示され、有意な改善が見られた案には `〇〇 を採用` ボタンが表示されます。

| 判定              | 意味                                                                  | 推奨アクション             |
| --------------- | ------------------------------------------------------------------- | ------------------- |
| 改善（有意）          | トリートメントがコントロールより有意に改善している                                           | トリートメントを採用してテスト終了   |
| 悪化（有意）          | トリートメントがコントロールより有意に悪化している。複数案の場合は「いずれの案もコントロールより有意に悪化」と表示されることがあります | トリートメントを却下してテスト終了   |
| データ蓄積中          | 配信が少なく、まだ傾向も判断できない                                                  | 配信が蓄積されるまで継続        |
| 優勢の傾向（暫定）       | どちらかが優勢な傾向だが、まだ確定していない                                              | 確定まで継続観察            |
| 効果方向が定まりません（暫定） | 優劣の傾向がまだ見えない                                                        | 継続観察                |
| 有意な差なし          | サンプルは十分だが、統計的に明確な差は確認できない。効果が同等とも、効果がないとも断定できない                     | テストの目的とデータを確認して判断する |

「データ蓄積中」「優勢の傾向」「効果方向が定まりません」では、判定確定に必要なサンプル数に対する進捗もあわせて表示されます。

終了した施策は、結果を確認してトリートメントを採用できます。採用後も表示・操作の配信実績は更新されますが、効果測定期間を過ぎたイベントはCV・CVR・判定に含まれません。終了済みの施策を後から採用しても、効果測定期間は延長されません。

**バリアント比較表**

トリートメントが複数ある場合、各案ごとのCVR・リフト・信頼区間・p値（raw p / Holm補正p）・判定を一覧で確認できます。代表案には `代表` バッジが付きます。

**日次CVR推移**

バリアント別の日次CVRをグラフで確認できます。

**統計的有意性**

`統計的有意性（根拠データ）` を開くと、判定の根拠となる指標を確認できます（トリートメントが1案の場合に表示されます）。

| 指標      | 説明                                      |
| ------- | --------------------------------------- |
| 信頼水準    | 信頼区間の算出や判定に用いる水準（例: 95.0%）              |
| リフト     | コントロールに対するCVRの相対的な増減率。`±` で信頼区間の幅を併記します |
| p値      | 差がないと仮定したときに、今回と同程度以上の極端な結果が得られる確率      |
| 信頼区間    | 観測データから推定したリフトの範囲。チャートで確認できます           |
| サンプルサイズ | 現在のサンプル数と、判定に必要なサンプル数                   |

{% hint style="info" %}
配信後の内容・配分変更は補正されません。比較案が増えると、既存案の Holm 補正後判定も変わり得ます。
{% endhint %}

{% hint style="warning" %}
**SRM（Sample Ratio Mismatch）の警告**: 設定した配信比率と実際の配信数に大きな偏りが検出されると、警告が表示されます。この場合、テスト結果の信頼性が低下しているため、計測タグの設置状況を確認してください。配信後の配分変更や履歴上限により診断できない場合は、`SRM 診断不能` と表示され、比較結果の表示は継続されます。
{% endhint %}
