配信と効果測定
施策の配信を管理し、AIレビュー と 配信状況 タブで確認・測定します。
施策のステータス
施策は次のステータスを持ちます。
下書き
作成・編集中の状態。まだ配信されていません
予約中
開始日時待ちの配信予約です
配信中
URL条件に一致するページでA/Bテストが配信されている状態です
一時停止
配信を止めている状態。再開できます
終了
A/B配信が終了した状態です。まだバリアントを採用していません
採用済み
選んだトリートメントを100%で継続配信している状態です
アーカイブ
保管した状態です。解除するとアーカイブ前のステータスに戻ります
ステータスごとの編集可否
下書き
○
○
○
予約中
×
○
○
配信中
×
○
○
一時停止
○
×
○
終了
×
×
○
採用済み
×
×
○
アーカイブ
×
×
○
配信を開始・停止する
編集画面のヘッダーから、ステータスに応じた操作ができます。
保存
編集内容を保存します。下書きでは 自動保存 をオンにすると、変更が自動で保存されます。保存中は 保存中…、未保存のあいだは 未保存 と表示されます。自動保存をオフにしたときや、下書き以外で未保存の変更があるときは、保存ボタンで保存します
スケジュールを更新
予約中・配信中の施策で、スケジュールのみ更新します
配信開始
下書きの施策の配信を開始します。設定したURL条件に一致するページでコードが実行されます
配信予約
未来の開始日時が設定されているとき、配信開始 の代わりに表示されます。開始日時になると配信が始まります
今すぐ開始
予約中の施策を、予約した開始日時を待たずに配信開始します
予約を取り消す
予約中の施策を下書きに戻します
一時停止
配信中の施策を止めます。再開するまでコードは実行されません
再開
一時停止中の施策の配信を再開します。終了日時を過ぎている場合は終了になります
施策を終了
予約中・配信中・一時停止・採用済みの施策を終了します。終了後は編集や配信の再開ができません
採用する
配信中または終了の施策で、選んだトリートメントを100%配信し続けます。トリートメントが複数ある場合は、採用する案を選択します。A/Bテストは終了し、採用済みになります
変更履歴
施策の変更履歴を確認します
アーカイブ
施策を保管します。下書き・予約中・一時停止・終了から実行できます(配信中・採用済みからは直接アーカイブできません)
アーカイブ解除
アーカイブを解除し、アーカイブ前のステータスに戻します
複製
設定とコードをコピーして、新しい下書きの施策を作成します
削除
下書き・一時停止・アーカイブの施策を削除します。関連データ・アップロード画像もすべて削除されます
配信操作(配信開始・配信予約・一時停止・再開・今すぐ開始・施策を終了・採用する)はヘッダーのボタンから行います。アーカイブ・複製・削除はメニューから操作します。各操作の実行前には確認画面が表示されます。
AIレビュー
AIレビュー タブでは、配信開始前に設定の抜け漏れ、コードの品質、配信規模の目安を確認できます。施策の要約や、他の施策との競合可能性も同じタブで確認できます。
設定のチェック
設定のチェック では、評価設定と配信設定の抜け漏れを一覧できます。行の右のボタンから、該当の設定へ移動できます。
評価設定
コンバージョンイベント
未設定 / 設定件数
評価設定
施策内の計測要素
トリートメントごとのクリック・閉じるの件数
配信設定
配信ページ
全ページに配信 / 指定したURL条件
配信設定
配信デバイス
全デバイス / PC / モバイル
配信設定
ディメンション条件
未設定 / 設定件数
配信設定
スケジュール
即時開始 / 終了なし、開始・終了の日時。終了が開始以前の場合はエラー
配信設定
フリークエンシー
制限なし / 1回のみ / セッション1回 / カスタム
配信設定
配信パターン
合計が100%になっているか
コードレビュー
コードレビュー では、配信するコードの動作・安全性・文言をAIが点検します。施策を保存するとレビューできます。セクション右上の再実行ボタンから、最新のコードで再レビューできます。
指摘がある場合は、タイトル・推奨対応・対象のトリートメントが表示されます
コード検証の指摘には
配信前に修正または要確認のバッジが付きます該当コードがある場合は、抜粋が表示されます
各指摘の
チャットで修正をクリックすると、AI編集チャットに指摘内容が入力された状態で開きます。下書きまたは一時停止の施策でのみ利用できますコードを変更したあとは「コードが変更されています。再レビューしてください。」と表示されます
配信規模の目安
配信規模の目安 では、直近7日間のアクセスをもとに、URL条件にマッチする規模を確認できます。タブを開くと前回の結果が表示され、セクション右上の再実行ボタンから再計算できます。
ビジター
URL条件にマッチするvisitor数の推定
対象URL
マッチしたページ数
URL(最大30件表示)
マッチしたURLと、ビジター数・PV
効果測定の見方
配信状況 タブでは、配信実績と効果測定の結果を確認できます。施策を保存すると表示されます。
施策評価
タブ上部の 施策評価 では、AIが配信実績とコンバージョン、ユーザーの反応をまとめた評価を表示します。
配信開始後に初回の評価が生成され、その後は毎週月曜日に更新されます。途中評価 または 効果測定終了後の評価 のバッジと、観察の継続・採用の検討などの推奨が表示されます。過去の評価は 評価履歴 から確認できます。
評価対象外のときは、配信開始前であることや、前週に配信実績がないことなど、理由が表示されます。
配信実績
バリアント別に、配信状況とコンバージョンの実績を一覧で確認できます。CV列のみ、効果測定期間(配信開始〜終了翌日)で集計されます。
配信UU
施策が表示されたユーザー数。数値をクリックするとユーザー一覧を確認できます
クリックUU / クリック率
クリック操作を行ったユーザー数とその割合。トリートメント行のみクリックでユーザー一覧を開けます
CV UU / CVR
コンバージョンに至ったユーザー数とその割合
リフト率
コントロールに対するCVRの改善幅
エラー
施策の実行中に発生したエラー数。数値をクリックするとエラー詳細を確認できます
最終配信
最後に施策が表示された日時
トリートメント行の 操作内訳 を開くと、クリック・クローズの操作UUを要素別に確認できます。コントロール行には操作内訳は表示されません。
バリアント割当前など、施策全体に紐づかないエラーがある場合は、テーブル上部に 施策全体のエラー として表示されます。
日次配信UU推移 では、バリアント別の日次UUをグラフで確認できます。
効果測定
設定したコンバージョンをもとに、バリアント間の効果を統計的に比較します。コンバージョンを複数設定している場合は、上部の切り替えで比較対象を選べます。
判定カード
現在の状況に応じて、次のいずれかの判定が表示されます。暫定 バッジが付く判定は、統計的に確定する前の参考情報です。トリートメントが複数ある場合は、代表案をもとに判定が表示され、有意な改善が見られた案には 〇〇 を採用 ボタンが表示されます。
改善(有意)
トリートメントがコントロールより有意に改善している
トリートメントを採用してテスト終了
悪化(有意)
トリートメントがコントロールより有意に悪化している。複数案の場合は「いずれの案もコントロールより有意に悪化」と表示されることがあります
トリートメントを却下してテスト終了
データ蓄積中
配信が少なく、まだ傾向も判断できない
配信が蓄積されるまで継続
優勢の傾向(暫定)
どちらかが優勢な傾向だが、まだ確定していない
確定まで継続観察
効果方向が定まりません(暫定)
優劣の傾向がまだ見えない
継続観察
有意な差なし
サンプルは十分だが、有意な差がない
コントロールと同等の効果
「データ蓄積中」「優勢の傾向」「効果方向が定まりません」では、判定確定に必要なサンプル数に対する進捗もあわせて表示されます。
施策が終了している場合は「配信は終了しています。必要ならバリアントを採用できます。」と表示されます。採用済みの場合は「採用済みです。」と表示されます。終了・採用済み後は、判定用の集計は翌日までで閉じられ、それ以降の配信は配信実績のみに反映されます。
バリアント比較表
トリートメントが複数ある場合、各案ごとのCVR・リフト・信頼区間・p値(raw p / Holm補正p)・判定を一覧で確認できます。代表案には 代表 バッジが付きます。
日次CVR推移
バリアント別の日次CVRをグラフで確認できます。
統計的有意性
統計的有意性(根拠データ) を開くと、判定の根拠となる指標を確認できます(トリートメントが1案の場合に表示されます)。
信頼水準
判定の確からしさ(例: 95.0%)
リフト
コントロールに対するCVRの改善幅。± で信頼区間の幅を併記します
p値
差が偶然である確率。小さいほど差が確かといえます
信頼区間
リフトが収まると考えられる範囲。チャートで可視化されます
サンプルサイズ
現在のサンプル数と、判定に必要なサンプル数
最終更新
役に立ちましたか?