本サイトの記事や画像は、AIが公的資料や複数の報道を基に事実関係を整理・再構成し制作したものです。[続きを表示]特定の報道内容や表現を再利用・要約することを目的としたものではありません。ただし、誤りや不確定な情報が含まれる可能性がありますので、参考の一助としてご覧いただき、実際の判断は公的資料や各出典元の原文をご確認ください。[私たちの取り組み]
AWSは2026年10月20日(米国時間)、AmazonのAI半導体Trainium向けソフトウェア「TorchNeuron」の公開ベータを開始したと発表した。既存のPyTorchコードをTrainium2、Trainium3で実行しやすくするもので、デバイス指定の変更などによって移行負担を減らす。ただし、現段階では一部の演算や機能に制限がある。
PyTorchの標準機構を活用、Trainiumへの移行を容易に
TorchNeuronは、PyTorchの標準拡張機構「PrivateUse1」を利用し、Trainiumを「neuron」デバイスとして登録する。対応するコードでは、従来の「cuda」を「neuron」に変更することで、AIモデルをTrainium上で動かせる。Trainium2、Trainium3のEC2インスタンスに対応し、Apache 2.0ライセンスでオープンソースとして公開された。
実行方式は、研究やデバッグに利用できる逐次実行の「eager」と、計算処理をまとめて最適化する「torch.compile」に対応する。性能をさらに調整する場合は、Neuron Kernel Interface(NKI)を使って独自のカーネルを開発できる。
アンナプルナ・ラボのソフトウェア担当副社長Colin Brace氏はロイターの取材に対し、開発者がAmazonの半導体を試すまでの手順を減らすことが狙いだと説明した。ロイターは、NVIDIAのCUDAを中心としたソフトウェア上の優位性に対抗する取り組みと位置付けている。
未対応演算や実行方式に制約、移行工数にも差
AWSの技術資料によると、eager実行ではNeuron側に実装がない演算をCPUで処理する場合がある。これによりデバイス間のデータ転送が発生し、性能低下につながる可能性がある。
一方、torch.compileでは未対応演算を境に処理が分割される場合があり、Neuronバックエンドに渡された計算グラフの変換に失敗すると、既定ではエラーとなる。初回リリースでは疎テンソル、NestedTensor、動的・シンボリック形状なども未対応だ。
移行経験は顧客によって異なる。PyTorch公式ブログでは、Cartesiaが最小限のコード変更で推論処理を実行できたと説明する一方、DeepgramはAWSの支援を受けた数カ月の移植作業に言及した。Brace氏によると、ロボティクス、ワールドモデル、音声AIなどを手掛ける30社超の先行顧客が利用している。
AWSは公開ベータを通じて対応演算や機能を拡充する方針で、開発者には対象モデルの動作と性能を個別に確認することが求められる。
参考・出典
- Amazon says its AI chips will work with popular coding language, challenging Nvidia By Reuters
- AWS announces TorchNeuron: Native PyTorch Support for AWS Trainium (Public Beta) – AWS
- Introducing TorchNeuron: Native PyTorch backend for AWS Trainium – PyTorch
- What is TorchNeuron? — AWS Neuron Documentation
