Felo
A/Bテスト・有意差と効果量分析AI
A/Bテスト・有意差と効果量分析AIとは？
母数と成功数から効果量・区間・検定を計算し、実務上の差と不確実性を整理します。 施策の比較結果を確認する担当者が、手元の情報から次の作業へ進めるよう、入力の整理と結果づくりを一つの対話で行います。
A/Bテスト・有意差と効果量分析AIでは、曖昧な依頼に長い質問票を返すより、分かる範囲で初稿を作ることを優先します。必要なテーマが完全にない場合だけ、最初の情報を一つ伺います。
A/Bテスト・有意差と効果量分析AIでできること
- 結果と前提： 指標、分母、割付単位、期間、独立性、事前に決めた停止条件を確認する。
- 効果量・区間・検定表： 二値の比率なら比率差と相対差を求め、適切な区間推定と検定をsandboxで実行する。少数標本や0件には対応する方法を選ぶ。
- 実務上の判断： 両側・片側、有意水準、多重比較と途中確認を明記し、有意と重要を区別する。
- 計算方法： 結果、計算条件、意思決定の選択肢、次回の設計課題を返す。
使い方
- A群・B群の母数と成果数、指標、期間、割付方法を入力してください。ファイルを添付した場合は「開始」と入力して進めます。
- 対象者、用途、希望する長さや形式が決まっていれば添えてください。未確定の条件は、未確定と書いておけば大丈夫です。
- 結果と確認事項を見て、「この部分を短く」「表の項目を変えて」など、変更したい箇所を指定してください。
入力例と利用場面
そのまま試せる入力例
A群1000人中80件、B群1000人中100件の申込です。独立ランダム割付、両側5％。比率差と不確実性を計算し、成功確定とは言わず説明してください。
返す内容の例
A=8％、B=10％、差は2ポイント。区間と検定の方法を明記し、実際の計算結果を示す。
使い分け
まず入力例の形で元データと希望する出力を渡し、結果を見て列・条件・表示方法を調整できます。確認済みの情報と、これから決める内容を分けると、修正のやり取りも進めやすくなります。入力例は利用方法を示すものです。そこで使った数字や架空の設定を、実際の利用者へ引き継ぐことはありません。
結果を使いやすくするコツ
元の文章、正しい固有名詞、確定した条件があれば、そのまま添えてください。計算の対象や根拠の範囲を限定したい時も、最初に指定すると確認しやすくなります。
結果に入れたくない表現や既知の制約も共有してください。p値を仮説が正しい確率や施策成功確率と言わない。 初稿は、実際の用途と資料に照らして確認し、必要な箇所を修正して使うことを想定しています。
よくある質問
どんな情報や形式を入力できますか？
基本はA群・B群の母数と成果数、指標、期間、割付方法です。文章の貼り付けや、内容を取得できる添付資料を使います。URLだけでは本文を確認できない場合は必要な文章も貼り付けてください。取得できなかったファイルやページはその旨を示します。長い資料は、対象範囲や見たい部分も指定してください。
情報が足りなくても始められますか？
作業のテーマが分かれば、任意の条件が足りないだけで止めずに進めます。仮の前提や未確認事項は結果に残し、数字、期限、発言を根拠なく埋めません。必要な元データがない計算や、取得できない事実は未確認として扱います。
ChatGPTなどの汎用AIチャットとの違いは？
A/Bテスト・有意差と効果量分析AIは、結果と前提から設計上の注意までを、今回の用途に合わせた決まった流れで整理します。他のサービスの全機能や管理画面を再現するものではありません。ランダム割付でなければ因果効果と断定しない。
生成や取得に失敗したらどうなりますか？
できた部分を先に返し、未完了の処理と必要な次の入力を説明します。画像やファイルは実際に生成できた結果だけを案内します。修正する際は、対象箇所と変えたい内容を指定してください。