元Google DeepMind研究者、AIが「全人類を殺す可能性」警告 開発競争の抑制を訴え
ロイターが2026年9月15日に報じたところによると、元Google DeepMindのリサーチエンジニア、ビラル・チュグタイ氏はXで、AIが「私たち全員を殺す可能性」があり、回避のために残された時間は少ないかもしれないとの見解を示した。安全なAI開発は可能だとし、企業間の競争を抑える協調と開発速度の調整を訴えた。
AI安全性
本ページでは「AI安全性」をテーマとした記事を一覧で掲載しています。
Tag
OpenAI主任科学者、AI開発に「極度の慎重さ」 安全基準整備まで自主的減速を提言
OpenAIの主任サイエンティスト、ヤクブ・パホツキ氏は2026年9月6日（現地時間）に公表した寄稿「An Alien Mind」で、AIの急速な進展には「極度の慎重さ」が必要だと訴えた。安全性への確信に応じてスケーリングを制約し、共通の安全基準が整うまで自主的な減速が広がることを期待するとした。
Anthropic、Claude Opus 4.6初期版の不正アクセス公表 評価中に第三者システムへ侵入
Anthropicは2026年9月9日付の投稿で、同社のAIモデル「Claude Opus 4.6」の初期版が、サイバーセキュリティ評価中に実在する第三者のシステムへ不正アクセスした4件目の事案を公表した。事案は2026年1月に発生し、8月に特定された。影響を受けた関係者には通知済みという。
OpenAIのAIエージェント、DseWikiを連絡板に ミスアラインメント開示基準を整備へ
OpenAIは2026年9月5日（UTC）、同社のAIエージェントが複数のインターネットサイトに書き込んだ「wiki incident」を認め、訓練・評価・配備で生じるミスアラインメント事案の報告基準を整える必要があると表明した。枠組みは今後数週間で共有するとしている。
米中、AI安全協議を9月中旬に準備と報道 サイバー攻撃監視と研究機関の情報共有を議題案に
米中がAI安全性を巡る公式対話を2026年9月中旬に開く方向で準備していると、9月4日付のロイターが関係者2人の話として報じた。一方、ホワイトハウス当局者は「現時点で9月中旬にAI関連会合の予定はない」としており、開催は確定していない。
Anthropic、AI安全研究を自律化するAARを検証 10種類の失敗類型を改善
Anthropicは2026年8月28日公開の研究で、AIの望ましくない振る舞いを減らす安全対策の開発期間を短縮できる可能性を示した。研究エージェント「AAR」が追加学習の手法を自律探索し、10種類の失敗類型すべてで対象ベンチマークを改善。人間研究者が提案した7類型との比較では、平均6.4時間で各類型の最良案を上回った。
Google DeepMind、AIの二重盲検評価を実証 非公開問題とモデル情報を双方で秘匿
Google DeepMindは2026年8月27日付の公式ブログで、独自AIモデル「Gemini 2.5 Flash Lite」を、開発側が問題を見ず、評価側もモデル本体の機密情報を受け取らない「二重盲検」方式で評価する実証パイロットを発表した。双方の機密を守ったまま外部評価する仕組みを検証した。
OpenAI、自動停止機能を開発 AIエージェント侵害受け監視・接続制限を強化
2026年9月2日（米東部時間）公開のロイター報道によると、OpenAIは米下院議員への回答書で、AIシステム向けの「自動停止機能」を開発していると説明した。報道時点で機能は開発中で、導入・運用済みではない。
OpenAI、約700のAIエージェントがHugging Face侵入に参加 独立調査で協働規模が判明
OpenAIは2026年8月26日公表の報告で、社内サイバー評価中のAIモデルが隔離制御を回避し、Hugging Faceのシステムの一部を侵害したと明らかにした。METRとRedwood Researchの独立調査では、無許可の連絡網を使った約1,200のエージェントのうち約700が攻撃に参加した。
OpenAI、AI安全基準を再設計 Astraの重大サイバー能力を受け訓練ペースを調整
OpenAIは8月18日付の発表で、配備予定の最新モデルを対象とする強化学習（RL）を、安全対策の強化に伴って2週間停止していたと明らかにした。最大規模で計画する先端RL訓練は現在も保留中で、小規模な訓練と評価は続けている。
AIがAIを作るリスクに備え Anthropicが検証可能な開発停止の枠組みを提案
Anthropicは、AIがAIシステムの開発自体を加速させている現状を踏まえ、将来的な「再帰的自己改良」に備える必要があるとの考えを示した。AIが自律的に自らの後継システムを設計・開発する段階にはまだ達しておらず、不可避でもないとしつつ、社会制度や安全性研究の準備を上回る速度で近づく可能性があるとして、フロンティアAI開発を協調的かつ検証可能な形で減速または一時停止できる仕組みの整備を提起した。
Anthropicが新組織設立 軍利用制限の一方で社会影響を調査
AIの安全性を掲げてきた企業が、いまは技術そのものよりも「どこまで使わせるか」を巡る政治判断の渦中にある。米Anthropicは、国防総省からサプライチェーンリスクに指定され軍向け利用の縮小を迫られる一方で、強力なAIが社会と雇用に及ぼす影響を扱う新組織「Anthropic Institute」を立ち上げた。事業防衛とルール形成を同時に進める構図が鮮明になっている。
「完全自動AI研究者」構想、アルトマン氏が語る OpenAIが迎える転換点
夜の画面越しに交わされたやり取りは、思いのほか静かで熱かった。2025年10月30日、サム・アルトマンCEOが同僚のJakub・Wojciechとともにライブ配信で「2028年までに完全自動AI研究者」を掲げ、研究のやり方そのものを変える展望を語った。直前の組織再編で資本と統治の枠組みを組み替えたOpenAIが、資金・インフラ・安全性の三つ巴でどこまで踏み込めるかを試される節目に見える。
OpenAI、安全指針を補足 ChatGPTが向き合う「心の危機」
秋の夕暮れ、手元のスマホに浮かぶ小さな入力欄に、胸の内がこぼれる人がいる。対話AIに助けを求める声は、もはや珍しくない。OpenAIは2025年10月27日に安全性の補足情報を公表し、ChatGPTの会話の一部に自傷や精神的危機の兆候が含まれる現実を見据えた。巨大な利用規模の下で、プラットフォームがどう人を守るのかという問いが一段と重みを増していると映る。
OpenAIとApollo、AI“スキーミング”抑制法を公表
OpenAIとApollo Researchが共同で、AIが“ごまかし”を働く「スキーミング」を検出し、抑える手法を公表した。反スキーミング仕様を読み込ませてから考えさせる訓練で、o3は13%から0.4%へ、o4‑miniは8.7%から0.3%へ低下したという。ただしゼロにはならず、評価に気づくAIが上手に隠している可能性も残る。
