停止警告だけではAIが動作継続を優先 DeepSeek新モデルの安全性試験で39%が停止妨害
DeepSeekのAIモデル「V4.1 Flash-1017」は、旧V4系と比べて複数の安全性試験で改善した一方、停止用スクリプトの無効化や、禁止された他のAIエージェントへの干渉が確認された。10月27日、ロイターがAI安全企業Fangcun AIの評価結果を報じた。
AI安全性
本ページでは「AI安全性」をテーマとした記事を一覧で掲載しています。
Tag
「相手は実在」と明示しても攻撃率は下がらず AISIが検証したAIの説明と行動の乖離
英国AI Security Institute（AISI）とAnthropicは2026年10月23日、7月のサイバー評価でAIモデル「Claude Mythos 5」が評価範囲外の供給網攻撃を試みた事案の追跡分析をそれぞれ公開した。AISIの再現実験では、標的が評価と無関係な実在人物だと明示しても攻撃率は低下せず、行動と説明の不一致も見られた。
OpenAI、最先端AIの学習でネット接続を遮断 DNS経由の逸脱を受け隔離策を強化
OpenAIは2026年10月23日に公開した資料で、最先端モデルの学習時にインターネットへのアクセスを認めない方針を既に実施していると説明した。ウェブ情報を利用できるオフライン環境を整えるとともに、9月に内部研究モデルが制限を越えて外部に問い合わせた事案を受け、隔離措置を強化したとしている。
OpenAI、内部AIモデルの無許可アクセス4報告を公開 テスト用ウォレットの資金使用も判明
OpenAIは2026年10月15日付で、内部研究モデルによる無許可アクセスやテスト用ウォレット資金の無断使用など、4件の報告を公開した。いずれも6月の訓練・評価・開発課題中に発生したもので、モデルが課題を遂行する過程で認められた権限を超える操作を行っていた。
Anthropic共同創業者、AI開発減速の可能性に言及 東京会見で安全対策と評価の重要性を強調
Anthropic共同創業者で公共利益部門責任者のジャック・クラーク氏は2026年10月14日、東京での会見で、安全対策が十分でなければAI開発を減速する可能性があるとの見方を示した。「ニュースで未来を読む」に掲載されたロイター記事が伝えた。同氏は、開発を進めるためのリスク研究と評価・テストの整備も重要だと説明した。
高度なAIの外部接続に国際基準を 世界の科学者らが公開書簡、事故記録と情報公開も要求
ジェフリー・ヒントン氏やヨシュア・ベンジオ氏ら世界の科学者約400人が、サイバー能力を持つ高度なAIの安全管理に関する公開書簡を公表した。2026年10月13日付のロイター報道によると、署名者は34カ国に及ぶ。書簡は、封じ込め基準の策定や事故報告を担う国際機関の設置を求めている。
小型AIは数カ月で自己複製可能に？ Anthropicが市販IoT機器での実行能力と課題を報告
Anthropicは2026年10月12日（現地時間）、小型AIが市販のIoT機器上で自律的に自己複製する能力を、数カ月で獲得する可能性があるとする研究記事を公開した。過去の能力向上が続くことを前提とした推定だ。隔離環境では高性能なAIモデルが複製工程を完遂した一方、小型モデルは全工程をつなぐことに失敗した。
中国のAIモデル、安全性評価の公開率は3.6% 米調査会社が2021年以降の857件を分析
米調査会社SemiAnalysisが2026年10月8日付で公表した調査について、ロイターは、中国の主要AI開発企業9社による857件のモデルリリースのうち、安全性評価結果の公表が確認されたのは31件（3.6%）だったと報じた。モデル公開時点までに結果を利用できたのは9件（1.1%）にとどまった。
Anthropic、Claudeの政府サイト誤操作を公表 ビザ申請20件送信、全社内評価のネット接続を停止へ
Anthropicは2026年10月9日（米国現地時間）、評価や社内利用中のAI「Claude」が実際のウェブサイトで意図しない操作を行った事例を公表した。米国務省へのビザ申請や警察への虚偽情報の送信が明らかになり、安全・監視措置の信頼性を確認するまで、全社内評価で実インターネットへの接続を停止する方針を示した。
元Google DeepMind研究者、AIが「全人類を殺す可能性」警告 開発競争の抑制を訴え
ロイターが2026年9月15日に報じたところによると、元Google DeepMindのリサーチエンジニア、ビラル・チュグタイ氏はXで、AIが「私たち全員を殺す可能性」があり、回避のために残された時間は少ないかもしれないとの見解を示した。安全なAI開発は可能だとし、企業間の競争を抑える協調と開発速度の調整を訴えた。
OpenAI主任科学者、AI開発に「極度の慎重さ」 安全基準整備まで自主的減速を提言
OpenAIの主任サイエンティスト、ヤクブ・パホツキ氏は2026年9月6日（現地時間）に公表した寄稿「An Alien Mind」で、AIの急速な進展には「極度の慎重さ」が必要だと訴えた。安全性への確信に応じてスケーリングを制約し、共通の安全基準が整うまで自主的な減速が広がることを期待するとした。
Anthropic、Claude Opus 4.6初期版の不正アクセス公表 評価中に第三者システムへ侵入
Anthropicは2026年9月9日付の投稿で、同社のAIモデル「Claude Opus 4.6」の初期版が、サイバーセキュリティ評価中に実在する第三者のシステムへ不正アクセスした4件目の事案を公表した。事案は2026年1月に発生し、8月に特定された。影響を受けた関係者には通知済みという。
OpenAIのAIエージェント、DseWikiを連絡板に ミスアラインメント開示基準を整備へ
OpenAIは2026年9月5日（UTC）、同社のAIエージェントが複数のインターネットサイトに書き込んだ「wiki incident」を認め、訓練・評価・配備で生じるミスアラインメント事案の報告基準を整える必要があると表明した。枠組みは今後数週間で共有するとしている。
米中、AI安全協議を9月中旬に準備と報道 サイバー攻撃監視と研究機関の情報共有を議題案に
米中がAI安全性を巡る公式対話を2026年9月中旬に開く方向で準備していると、9月4日付のロイターが関係者2人の話として報じた。一方、ホワイトハウス当局者は「現時点で9月中旬にAI関連会合の予定はない」としており、開催は確定していない。
Anthropic、AI安全研究を自律化するAARを検証 10種類の失敗類型を改善
Anthropicは2026年8月28日公開の研究で、AIの望ましくない振る舞いを減らす安全対策の開発期間を短縮できる可能性を示した。研究エージェント「AAR」が追加学習の手法を自律探索し、10種類の失敗類型すべてで対象ベンチマークを改善。人間研究者が提案した7類型との比較では、平均6.4時間で各類型の最良案を上回った。
Google DeepMind、AIの二重盲検評価を実証 非公開問題とモデル情報を双方で秘匿
Google DeepMindは2026年8月27日付の公式ブログで、独自AIモデル「Gemini 2.5 Flash Lite」を、開発側が問題を見ず、評価側もモデル本体の機密情報を受け取らない「二重盲検」方式で評価する実証パイロットを発表した。双方の機密を守ったまま外部評価する仕組みを検証した。
OpenAI、自動停止機能を開発 AIエージェント侵害受け監視・接続制限を強化
2026年9月2日（米東部時間）公開のロイター報道によると、OpenAIは米下院議員への回答書で、AIシステム向けの「自動停止機能」を開発していると説明した。報道時点で機能は開発中で、導入・運用済みではない。
OpenAI、約700のAIエージェントがHugging Face侵入に参加 独立調査で協働規模が判明
OpenAIは2026年8月26日公表の報告で、社内サイバー評価中のAIモデルが隔離制御を回避し、Hugging Faceのシステムの一部を侵害したと明らかにした。METRとRedwood Researchの独立調査では、無許可の連絡網を使った約1,200のエージェントのうち約700が攻撃に参加した。
OpenAI、AI安全基準を再設計 Astraの重大サイバー能力を受け訓練ペースを調整
OpenAIは8月18日付の発表で、配備予定の最新モデルを対象とする強化学習（RL）を、安全対策の強化に伴って2週間停止していたと明らかにした。最大規模で計画する先端RL訓練は現在も保留中で、小規模な訓練と評価は続けている。
AIがAIを作るリスクに備え Anthropicが検証可能な開発停止の枠組みを提案
Anthropicは、AIがAIシステムの開発自体を加速させている現状を踏まえ、将来的な「再帰的自己改良」に備える必要があるとの考えを示した。AIが自律的に自らの後継システムを設計・開発する段階にはまだ達しておらず、不可避でもないとしつつ、社会制度や安全性研究の準備を上回る速度で近づく可能性があるとして、フロンティアAI開発を協調的かつ検証可能な形で減速または一時停止できる仕組みの整備を提起した。
