時系列データ分析エージェント向けの表現力豊かでカスタマイズ可能な評価システム「AgentFuel」の開発

要約

この論文は、IoT、可観測性、電気通信、サイバーセキュリティなどの領域で普及している対話型データ分析エージェント（「データと会話する」形式）の評価に関する研究です。これらのエージェントは時系列データ（センサーの測定値やユーザーの行動イベントなど）を扱います。研究者たちは6つの人気データ分析エージェント（オープンソースおよびプロプライエタリ）をドメイン固有のデータとクエリタイプで評価し、ステートフルおよびインシデント固有のクエリで失敗することを発見しました。既存の評価には、ドメインカスタマイズされたデータセットとドメイン固有のクエリタイプという2つの表現力ギャップがあることを観察しました。この問題を解決するため、研究チームはAgentFuelを開発しました。AgentFuelは、ドメイン専門家が時系列データエージェント用のカスタマイズされた表現豊かな評価を素早く作成し、エンドツーエンドの機能テストを実行できるツールです。AgentFuelのベンチマークは既存のデータエージェントフレームワークの改善すべき重要な方向性を明らかにし、エージェントのパフォーマンス向上にも寄与することが示されています。