AIでマーケティング施策を振り返る方法。因果を断定させないプロンプト

LPを直した翌週に申込みが増えた。広告文を変えた月にCPAが下がった。数字がよくなると「施策が効いた」と報告したくなります。

しかし、同じ時期に予算、季節、流入元、価格、計測方法が変わっていれば、その施策だけが原因とは言えません。反対に、数字が動かなかっただけで、施策が無意味だったとも限りません。反映まで時間がかかる施策や、データが少ないケースもあります。

AIで施策を振り返るときは、成功・失敗を決めさせる前に、観測できた変化と、まだ証明できていない因果を分けさせることが重要です。この記事では、そのための記録項目とプロンプトを紹介します。

「増えた」と「施策が増やした」は別です

施策の前後を比較して分かるのは、同じ時期に数字が変わったことです。施策が変化を起こしたと確かめるには、施策を行わなかった条件との比較も必要です。

Google広告の実験は、元のキャンペーンと変更した条件へトラフィックや予算を分けて比較する仕組みです。また、実験結果の説明では、結果を見るときに信頼区間や統計的有意性を確認できます。

すべての施策で厳密な実験ができるわけではありません。そこで、通常の前後比較では結論の言い方を次のように変えます。

言い切りを弱くすることが目的ではありません。次に何を確かめれば判断が強くなるかを残すためです。

振り返り前に6つを記録する

AIへ数字だけを渡す前に、次の6項目をそろえます。

1. 施策と実施日: 実際に何を、いつ変更したか
2. 狙ったKPI: CV、CPA、CTR、検索流入など、変化を期待した指標
3. 基準期間: 実施前の比較期間と数値
4. 結果期間: 実施後の同じ長さの期間と数値
5. 同時期にあったこと: 予算、他施策、季節性、計測、外部要因
6. データの状態: 欠損、反映待ち、母数の少なさ

実施前にKPIを決めていなかった場合は、その事実も書きます。あとから最もよくなった数字だけを選ぶと、施策に都合のよい評価になってしまいます。

期間は長ければよいとは限りません。広告のように早く反映される施策と、SEOのように時間がかかる施策では、適切な確認時期が違います。曜日や連休の影響を受けるなら、同じ曜日数を含む期間を使います。

ChatGPT・Geminiへ渡す入力テンプレート

次の形で、1施策ずつ入力します。複数の変更をまとめて振り返ると、どの変更を次に残すべきか分からなくなります。

振り返る施策:
- 施策名:
- 実施した変更:
- 実施日:
- この施策で変えたかったKPI:
- 実施前に決めた目標または判断基準:

実施前:
- 期間:
- KPIの値:
- 分母となる件数（表示、クリック、セッションなど）:

実施後:
- 期間:
- KPIの値:
- 分母となる件数:

同時期にあったこと:
- 予算変更:
- 他の施策:
- 季節性・曜日・休業日:
- 計測方法の変更:
- 競合、天候、ニュースなど外部要因:

データの注意点:
- 欠損や反映待ち:
- 通常と違う期間:
- その他:

比較するKPIが率なら、率だけでなく分子と分母も渡します。「CVRが2倍」でも、1件が2件になった場合と、100件が200件になった場合では判断の強さが違うからです。

因果を断定させない振り返りプロンプト

入力テンプレートのあとへ、次の指示を貼り付けます。

あなたはマーケティング施策の振り返りを補助する担当者です。
渡した情報だけを使い、観測結果と因果関係を分けて整理してください。

ルール:
- 入力にない出来事、数値、業界平均を追加しない
- 実施後にKPIが変化しても、施策が原因だと断定しない
- 数値は「改善を観測」「変化なし」「悪化を観測」「データ不足」に分類する
- 良し悪しの向きが決められない指標は「変化のみ」とする
- 基準値または結果値がなければ「データ不足」とする
- 率を評価するときは、分子と分母の件数も確認する
- 同時期にあったことは、別の説明になり得る要因として残す
- 施策前に決めていないKPIを、成功の根拠として後付けしない
- 統計的な検定をしていない場合、有意差があると書かない

出力:
1. 施策、実施日、狙ったKPIの要約
2. 実施前後の数値と増減の表
3. 観測結果の分類と、その根拠
4. 因果関係について言えること・言えないこと
5. 同時期にあった要因と、結果へ影響した可能性
6. 判断に足りない情報
7. 次に行う小さな検証を1つ
8. 上司へ報告するための、断定を避けた3文の要約

AIの出力は4か所を確認する

出力された文章は、次の順で確認します。

1. 期間が対等か

実施前7日と実施後30日をそのまま比較していないか、同じ曜日構成かを見ます。計測途中の期間なら、その旨が書かれているかも確認します。

2. 変化量の計算が合っているか

AIが割合を誤ることはあります。元の数字と増減率を表計算ソフトで再計算し、率なら分子と分母も見ます。

3. 同時期の変更が消えていないか

予算増加とCV増加が同時に起きたなら、CVだけでなくCPAも確認します。セール期間だったなら、通常月へそのまま再現できるとは限りません。

4. 次の検証が1つに絞られているか

振り返りの目的は、過去をきれいに説明することではなく、次の判断をよくすることです。変更案が複数出たら、最も大きい不確実性を減らす1つへ絞ります。

施策と結果を同じ場所へ残す

この振り返りは無料のAIでもできますが、実施日、当時の基準値、あとから起きた変更を別々の場所から集める必要があります。実施した施策だけでなく、見送った理由も残っていないと、同じ案を何度も検討することになります。

商略AIでは、提案された施策を「今週やる」「保留」「見送る」に分け、実施日と確認するKPIを記録できます。実行した施策は14日後・28日後に基準期間と結果期間を並べ、「改善」「変化なし」「悪化」「変化のみ」「データ不足」で観測結果を表示します。予算変更、他施策、季節性、計測変更、外部要因も記録でき、因果関係は確定したものとして扱いません。

実行前の施策選びから整理したい場合は、AIに売上アップの施策を提案させるコツも参考にしてください。

まとめ

AIでマーケティング施策を振り返るときは、成功談を作らせるのではなく、次の検証に使える記録を作ります。

1. 実施日と、事前に決めたKPIを残す
2. 実施前後で同じ長さの期間を比較する
3. 率だけでなく分子と分母を渡す
4. 予算、他施策、季節性、計測変更を併記する
5. 観測した変化と、証明できていない因果を分ける
6. 次に試す変更を1つに絞る

まずは直近で実施した施策を1つ選び、「実施日」「狙ったKPI」「同時期にあったこと」の3点を書き出してください。数字の評価より先にこの3点をそろえると、AIの振り返りが感想から検証へ変わります。

• マーケティング
• AI
• プロダクト