DeepSeek AI、100万トークン対応の新言語モデル「DeepSeek-V4」シリーズをリリース
要約
DeepSeek AIは、100万トークンのコンテキストウィンドウを実用的かつ推論時にコスト効率的に処理できることを目標とした新しい言語モデルシリーズ「DeepSeek-V4」のプレビュー版を発表しました。このシリーズは、Compressed Sparse AttentionとHeavily Compressed Attention技術を採用したMixture-of-Experts（MoE）アーキテクチャベースの2つのモデルで構成されています。上位モデルのDeepSeek-V4-Proは総パラメータ数1.6兆、トークンあたり490億パラメータが活性化され、軽量版のDeepSeek-V4-Flashは総パラメータ数2840億、トークンあたり130億パラメータが活性化される設計となっています。長文処理能力の向上と計算効率の最適化が主要な特徴として挙げられています。
洞察・気づき
DeepSeek-V4の登場は、大規模言語モデルにおける長文処理能力の新たなマイルストーンとなります。100万トークンという極めて長いコンテキストウィンドウは、従来のモデルでは困難だった長編文書の解析、複雑なコード生成、大規模データセットの処理を可能にします。Compressed Sparse Attention技術の採用により、従来の注意機構では計算量が指数的に増加していた長文処理の課題を解決し、実用的なコストでの運用を実現しています。MoEアーキテクチャと組み合わせることで、必要な部分のみを活性化し、効率性を高めています。この技術革新は、法律文書の解析、長編小説の生成、大規模コードベースの理解など、これまで困難だった用途での AI 活用を大幅に拡大する可能性があります。