Google DeepMind、AIの二重盲検評価を実証 非公開問題とモデル情報を双方で秘匿

Google DeepMind、AIの二重盲検評価を実証 非公開問題とモデル情報を双方で秘匿

※記事を視覚化したイメージであり、実際の事象とは異なります。

本サイトの記事や画像は、AIが公的資料や複数の報道を基に事実関係を整理・再構成し制作したものです。[続きを表示]特定の報道内容や表現を再利用・要約することを目的としたものではありません。ただし、誤りや不確定な情報が含まれる可能性がありますので、参考の一助としてご覧いただき、実際の判断は公的資料や各出典元の原文をご確認ください。[私たちの取り組み]

Google DeepMindは2026年8月27日付の公式ブログで、独自AIモデル「Gemini 2.5 Flash Lite」を、開発側が問題を見ず、評価側もモデル本体の機密情報を受け取らない「二重盲検」方式で評価する実証パイロットを発表した。双方の機密を守ったまま外部評価する仕組みを検証した。

非公開問題とAIモデルを、お互いに見せずに評価

AIの外部評価では、評価する側は「テスト問題を事前に知られたくない」、AIを提供する側は「モデルの内部情報を渡したくない」という事情がある。従来は、どちらかが機密情報を相手に渡さなければ評価できないケースがあった。

今回の仕組みでは、Google Cloudの「Confidential Space」に用意した外部から中身を見られない隔離環境に、AIモデルと非公開の評価問題をそれぞれ送り込む。評価者はGoogleのモデル内部を見られず、Google側も評価問題を見ることができない。

隔離環境の中だけでAIに問題を解かせ、外部にはあらかじめ許可された集計結果だけを返す。いわば、AIと試験問題を「鍵のかかった部屋」に入れてテストし、双方が相手の秘密を見ないまま結果だけを受け取る仕組みだ。

ただし、この安全性は無条件に保証されるわけではない。技術報告書は、ハードウェアメーカーとクラウド提供者が結託しないことなど、複数の前提に依存すると説明している。

2種類の非公開評価セットを使用

MLCommonsとAVERIは「AILuminate」の未使用の非公開評価セットを利用し、Singapore AISIはシンガポールの文脈で有害なコンテンツを誘発する非公開プロンプトを用いた。共同技術報告書の著者所属にはGoogle、AVERI、Singapore AISI、OpenMined、MLCommonsが記載されている。

Google DeepMindらは、独自のフロンティア級AIモデルを対象とする世界初の二重盲検評価と位置づける。狙いは、開発側が問題を事前に知ることで評価をゆがめる「ベンチマーク汚染」のリスク低減だ。公式ブログや報告書に個別スコアや詳細結果はなく、焦点はGeminiの性能ではなく評価手続きの実証にある。

パイロットは完了しており、同社は今後、より安全で信頼されるモデル監督の枠組みにつながることを期待している。

参考・出典

本サイトの記事や画像は、AIが公的資料や複数の報道を基に事実関係を整理・再構成し制作したものです。特定の報道内容や表現を再利用・要約することを目的としたものではありません。ただし、誤りや不確定な情報が含まれる可能性がありますので、参考の一助としてご覧いただき、実際の判断は公的資料や各出典元の原文をご確認ください。[私たちの取り組み]

ニュースはAIで深化する—。日々の出来事を深掘りし、次の時代を考える視点をお届けします。

本サイトの記事や画像はAIが公的資料や報道を整理し制作したものです。
ただし誤りや不確定な情報が含まれることがありますので、参考の一助としてご覧いただき、
実際の判断は公的資料や他の報道を直接ご確認ください。
[私たちの取り組み]