MedAIBase、効率的なMoEアーキテクチャを採用した103Bパラメータの医療用言語モデル「AntAngelMed」をリリース
要約
MedAIBaseが医療分野特化の大規模言語モデル「AntAngelMed」をオープンソースで公開しました。このモデルは103Bパラメータという大規模ながら、1/32アクティベーション率のMixture-of-Experts（MoE）アーキテクチャを採用することで、推論時には6.1Bパラメータのみを活性化する効率的な設計を実現しています。これにより40B密集モデルと同等の性能を維持しながら、H20ハードウェア上で毎秒200トークンを超える高速な処理速度を達成しました。モデルはLing-flash-2.0をベースとして構築され、継続的事前訓練、教師ありファインチューニング、GRPO（Group Relative Policy Optimization）に基づく強化学習という3段階のパイプラインで訓練されています。性能評価では、OpenAIのHealthBenchにおいてオープンソースモデル中で第1位を獲得し、さらにMedAIBenchとMedBenchの両方のリーダーボードでもトップの座に輝いています。
洞察・気づき
AntAngelMedの登場は、医療AI分野において複数の重要な技術的ブレークスルーを示しています。特に注目すべきは、MoEアーキテクチャによる効率化で、大規模モデルの計算負荷を大幅に削減しながら高い性能を維持できることが証明されました。この技術により、限られたハードウェア資源でも高度な医療AI を運用できる可能性が広がります。また、オープンソースでの公開は医療AI の民主化を促進し、より多くの医療機関や研究者がこの技術を活用できる環境を整えます。複数の医療ベンチマークで1位を獲得したことは、医療分野における言語理解と推論能力が実用レベルに到達していることを意味し、診断支援、医学文献解析、患者対応など幅広い医療業務での活用が期待できます。今後の医療AI開発において、専門性と効率性を両立したモデル設計の重要性を示す事例となるでしょう。