Moonshot AI と清華大学、データセンター間 KVCache アーキテクチャ「PrfaaS」を提案
要約
Moonshot AI と清華大学の研究チームが、大規模言語モデル（LLM）のサービング方式を根本的に見直す新しいアーキテクチャ「PrfaaS」を提案した。従来のLLM推論処理は、高帯域幅のRDMAネットワークの制約により、prefill（初期処理）とdecode（生成処理）の両方が同一データセンター内、時には同一ラック内に制限されてきた。この制約により、LLMサービングの拡張性やリソース効率に課題があった。PrfaaSは、データセンター間でのKVCache（Key-Value Cache）の分散を可能にする新しいアプローチを提案し、従来の制約を超えた大規模なLLMサービングを実現することを目指している。
洞察・気づき
この研究は、LLMサービングの物理的制約を突破する重要な技術的ブレークスルーを示している。データセンター間でのKVCacheの効率的な管理が実現されれば、より柔軟で経済的なLLMサービスの提供が可能になる。特に、地理的に分散したユーザーに対する低レイテンシサービングや、ピーク時の動的なリソース配分などが改善される可能性がある。また、従来のRDMAネットワークの制約から解放されることで、クラウドプロバイダーにとってもより効率的なインフラ運用が実現できる。この技術は、今後のLLMサービスの競争力を大きく左右する可能性がある。