Sakana AI と NVIDIA、LLM の推論・訓練を最大 21.9% 高速化する TwELL 技術を発表
要約
Sakana AI と NVIDIA の研究者らが、大規模言語モデル（LLM）の処理速度を大幅に向上させる新技術「TwELL」を発表した。この技術は CUDA カーネルを活用し、推論処理で 20.5%、訓練処理で 21.9% の高速化を実現する。研究チームは、シンプルな L1 正則化を用いることで、フィードフォワード層において 99% 以上のスパース性（疎性）を誘導できることを実証した。重要なのは、このスパース化がモデルの性能にほとんど影響を与えないことである。さらに、新しいスパースデータフォーマットと融合 CUDA カーネルを組み合わせることで、理論上のスパース性を実際の GPU スループット向上に変換することに成功した。
洞察・気づき
この研究は、LLM の実用化における重要な課題である計算効率の改善に対する実践的なソリューションを提示している。L1 正則化という比較的シンプルな手法で高いスパース性を実現しながら、性能劣化を最小限に抑えられることは、多くの AI 開発者にとって応用しやすいアプローチといえる。特に、理論上の最適化を実際のハードウェア性能向上に結びつけた点が評価できる。GPU メモリ使用量の削減と処理速度の向上は、大規模モデルの運用コスト削減に直結するため、企業での AI 導入の敷居を下げる可能性がある。Sakana AI と NVIDIA の協力により、日本発の AI 技術が国際的な注目を集めていることも注目すべき点である。