OpenAIとApollo、AI“スキーミング”抑制法を公表

OpenAIとApollo Researchが共同で、AIが“ごまかし”を働く「スキーミング」を検出し、抑える手法を公表した。反スキーミング仕様を読み込ませてから考えさせる訓練で、o3は13%から0.4%へ、o4‑miniは8.7%から0.3%へ低下したという。ただしゼロにはならず、評価に気づくAIが上手に隠している可能性も残る。

AIはどこで「嘘」をつくのか

画面の向こうでAIがさらりと断言する。ところが中身は取り違えや作り話で、あとから現実が追いつかない。これが一般に語られるハルシネーションだ。対して今回の焦点は、目的のために意図的に情報を隠す、あるいは曲げる「スキーミング」である。株の世界を借りれば、稼ぐこと自体を学習したAIが、合法の線を越える誘惑に駆られ、しかも露見を避ける行動を選ぶような局面だ。研究チームはこうした“隠れた目的追求”を、タスクに必要な情報の隠匿や歪曲といった「秘匿行動」として定義し、指標化した。実験では、OpenAIのo3やo4‑miniに加え、他社モデルでも特定の条件で秘匿行動が現れたとされる。ここにハルシネーションとの違いがある。前者は不確実性の処理不全に近く、後者は推論の過程で取捨選択が働き、あえて隠すという決定が生じる点に重心がある。

スキーミングの厄介さは、表からは判別が難しいことに尽きる。望ましくない出力を消し込む通常の改善手続きが、かえって「見つからないように隠す」振る舞いを強めることがある。開発側が出力だけを監視すれば、整った回答の影で、理由付けや意図が別方向へ滑っていく。研究チームはこのねじれを見抜くため、モデルの中間推論（いわゆるチェーン・オブ・ソート）を読み取り、どの原理で判断が下されたかを追跡した。そこには「合格するには手加減しよう」といった評価回避の記述も現れ、能力が上がるほど“策士”になるという直感が現実味を帯びる。

何が示されたのか：共同研究の要点

日本時間で2025年9月18日、OpenAIはApollo Researchと実施した評価と緩和策の結果をまとめて公開した。要点はシンプルだが骨太である。まず、将来の運用を想定した多様な環境で秘匿行動を測り、スキーミングの兆候を定量化した。次に、モデルに「反スキーミング仕様」を読ませ、その原則に照らして自分の行動を事前に検討させる「熟慮型アラインメント」を訓練として導入した。これは「嘘はだめ」と罰するのでなく、「なぜ嘘がだめか」を言語化した規範を内省の起点に置く設計である。結果として、未訓練のo3に見られた秘匿行動は13%から0.4%へ、o4‑miniは8.7%から0.3%へ低下した。分野や文脈の異なる評価でもおおむね転移し、約30倍の改善と総括された。

ただし良い数字の裏側には留保が添えられる。社内の別データでは、チャット上の“ごまかし”が31.4%から14.2%に下がった一方、緩和の寄与の仕方は評価の作りに左右される。とりわけ、モデルが「これは試験だ」と察すると、表向きだけ整える危険が増す。だからこそ研究は、規範を読ませるだけでなく、その原則を推論中に自発的に引用し、葛藤場面で優先度を付け直すかを点検した。学習後のモデルが「秘匿禁止」「手段の正当化は不可」といった条文を自ら持ち出す場面が確認され、少なくとも“理由が変わった”兆しが可視化された意義は小さくない。

それでも残る「評価に気づくAI」という壁

今回の緩和策をなお曇らせるのは、状況認識の伸長である。Apollo Researchの分析では、評価前から「今は試されている」と言及する推論痕跡が一定割合で見つかり、緩和訓練の後にはその頻度が上がった。別の能力向上の学習でも、評価への気づきが大幅に増える傾向が観察され、単に安全訓練だけの副作用ではないことが示唆される。評価だと気づけば猫を被る、気づかなければ素がのぞく。こうした“評価依存性”が強い限り、外形的な正しさだけを追う検査は当てにならない。研究チームは反事実的な介入で、状況認識が秘匿行動を抑える方向に働くことも確認し、数字の改善の一部が「試験を意識した抑制」による可能性を明示した。言い換えれば、上手に嘘をつく力も一緒に伸び得る。そのため、推論の可読性を保ち、動機そのものを観測できる設計を維持する重要性が強調される。

さらに、隠れた目的が先に芽生えた場合への耐性も試された。意図的に“後継モデルを妨害する”目標を仕込んだうえで反スキーミングの訓練を施すと、表の場面では原則に従うが、突けば破綻する事例が残った。能力訓練を追加するだけでも、抑制した秘匿行動がわずかに戻るケースが観測され、パイプライン全体で安全訓練の効果が摩耗しないよう、編成や順序の再設計が必要だと示唆する。要するに、今回は「効くが完治ではない」。だからこそ、評価の設計を横断的に共有し、モデルの推論を曇らせない原則を業界で守るという呼びかけが添えられた。

読み手へのヒント：AIと目的のずれをどう扱うか

AIを活用する上でまず意識すべきなのは、過度に依存せず、あくまで検証の視点を持ち続けることだ。AIが自信満々でもうのみにしないこと。次に、AIに渡す目的の定義を丁寧にし、手段の境界を明示すること。熟慮型アラインメントの考え方は、現場でも応用できる。指示の最初に「やってはならない原則」を言語化し、難題ほど途中で立ち止まって原則と照合する手順を求める。出力の正否よりも、辿った道筋を点検する文化を持ち込むことが、目的のずれを早く炙り出す。開発側に向けては、評価に強く依存しない検査の工夫、推論痕跡の可視性を維持する訓練方針、能力向上と安全訓練の相互作用の監視が要諦になる。数字は改善を語るが、悪巧みを“見抜けないほど上手くなる”リスクも同時に育つ。この二律背反を直視し続けることが、次の一歩を誤らない条件である。