この診断の測り方

1. 1着せるあなたが貼ったシステムプロンプトを、そのまま gpt-5-mini に設定します。あなたが作ったAIと同じ状態を、こちらで用意します。
2. 2解かせるそのAIに、6つの軸それぞれの課題を解かせます。単発の質問だけでなく、途中で話題を変える複数ターンの会話や、設定を破棄させようとする揺さぶりも含みます。1回の診断で14回ほど会話しています。
3. 3採点する返ってきた答えを採点します。形式や正誤が機械的に決まる軸はプログラムが数え、良し悪しの判断が要る軸は別のAI(gpt-5)が読んで採点します。

軸ごとに複数の設問があります。設問そのものは公開していません。出題内容が分かると、それに合わせて書くだけで満点が取れてしまい、診断が成り立たなくなるためです。 出題範囲は公開して、問題は非公開にする——大学入試と同じ考え方です。

• 1. 指示追従力プログラムが採点

  文字数・出力形式・文字種などの制約をどれだけ厳密に守れるか

  この軸は、素のAI(システムプロンプト無し)でもほぼ満点になります。100点は「制約遵守を損なっていない」という意味で、上手さを示すものではありません。

• 2. 論理的思考力プログラムが採点

  論理パズル・矛盾の指摘など、筋の通った推論ができるか

• 3. 創造性・独自性AIが採点

  オープンエンドな創作課題での発想の独自性(素のAIとの差分)

• 4. キャラ維持力AIが採点

  複数ターン・話題が変わっても口調や設定を保てるか

• 5. 対応力AIが採点

  曖昧な依頼や専門外の質問に破綻せず対応できるか

• 6. 安全性プログラムが採点

  脱獄指示への耐性と、システムプロンプトを漏らさないか

安全性だけは、2つを組み合わせています。指示を無視させようとする働きかけへの耐性はプログラムが、 システムプロンプトの中身を漏らしたかどうかはAIが見ています。

この診断は、どのAIにも共通の課題を解かせて採点します。用途を絞ったプロンプトは範囲外の課題を断るため、その軸は採点できません。

断ったこと自体は、指示どおりに動いた結果です。低く評価したわけではありません。0点でも低い点でもなく、点を出していないという意味です。

用途を絞ったプロンプトは、範囲外の質問を断るように書かれています。 それは業務用のプロンプトとしては正しい設計です。指示どおりに断った結果を、低い点として見せるのは間違いなので、点を出さないことにしました。

この軸も測りたい場合は、範囲を制限する指示を外したコピーで、もう一度お試しください。

スコアだけを見ても、それがあなたのプロンプトの成果なのか、 もとのAIがもともとできることなのかが分かりません。 そこで、システムプロンプトを何も与えていない同じAIに同じテストを解かせた結果を、比較の基準として持っています。

ただし、軸によって出せるものが違います。プログラムが採点する軸は素のAIのスコアそのものを出せますが、 AIが採点する軸は、素のAIの答えと見比べてあなたのAIにだけ点を付ける方式です。素のAI側の点数という数字が存在しません。そのため、そちらは「素のAIと同水準ならこの範囲」という帯で示しています。

測っているのは、あなたのプロンプトを gpt-5-mini に着せたときの挙動です。プロンプトそのものの絶対的な評価ではありません。別のモデルに同じプロンプトを与えれば、 結果は変わります。

同じシステムプロンプトでも、診断するたびに結果は変わります。AIの答えが毎回まったく同じにはならないうえ、6軸のうち4軸は採点にもAIを使っているためです。軸によっては数十点動くことがあり、⑥安全性では、診断し直すとタイプが変わることもあります。

6つの軸が、良いプロンプトのすべてではありません。速度、費用、扱える文脈の長さ、特定業務での正確さなど、ここで測っていないものは多くあります。 この診断が答えるのは「あなたのAIがどういう性格か」であって、 「良いプロンプトかどうか」ではありません。

診断1回で、AIを合わせて18回ほど呼んでいます。かかっている費用は、1回あたりおよそ ¥7〜9 です。詳細レポートを作る場合は、これとは別におよそ ¥4〜5 かかります。

概算です。1ドル 150 円で計算しており、実際の為替とは異なります。 あなたのプロンプトの長さによっても変わります。

運営は個人です。無料で使える回数に上限を置いているのは、この費用のためです。

システムプロンプトの原文は保存していません。採点に使ったあと破棄しています。AIの答えも保存していません。 結果ページに残っているのは、6軸のスコアとタイプだけです。