テキスト埋め込みを活用したゼロドメイン知識アルゴリズム選択手法
要約
研究者らは、ドメイン知識を必要とせずにアルゴリズム選択を行う新しい手法「ZeroFolio」を提案した。従来のアルゴリズム選択では、問題の特徴量を人手で設計する必要があったが、この手法では事前学習されたテキスト埋め込みモデルを活用する。手法は3つのステップで構成される：（1）問題インスタンスファイルをプレーンテキストとして読み込み、（2）事前学習済み埋め込みモデルで表現に変換し、（3）重み付きk近傍法でアルゴリズムを選択する。重要なポイントは、事前学習済み埋め込みが、特定の訓練やドメイン知識なしに問題インスタンスを区別できる表現を生成することである。研究チームは、SAT、MaxSAT、QBF、ASP、CSP、MIP、グラフ問題の7ドメインにわたる11のASlib シナリオで評価を実施した。結果として、この手法は11シナリオ中10で手作り特徴量を使ったランダムフォレストを上回り、2シード投票では全11シナリオで優位性を示した。アブレーション研究では、逆距離重み付け、行シャッフル、マンハッタン距離が重要な設計選択であることが判明した。
洞察・気づき
この研究は、機械学習におけるドメイン特化型アプローチから汎用的アプローチへのパラダイムシフトを示している。従来、各問題領域で専門的な特徴量設計が必要だったアルゴリズム選択において、事前学習されたテキスト表現の汎化能力を活用することで、ドメイン知識の壁を取り払った点は画期的である。この手法の成功は、大規模言語モデルの表現学習能力が、明示的に設計された特徴量を超える可能性があることを示唆しており、自動機械学習（AutoML）分野においても同様のアプローチが有効である可能性が高い。また、この研究は実用性も高く、新しい問題ドメインに対して即座に適用できるため、アルゴリズム選択の民主化に貢献する可能性がある。今後は、より大規模な問題や、テキスト以外の形式のデータに対する拡張が期待される。