Variational Open-Domain Question Answering
研究概要:自然言語処理タスクで効果を示しているリトリーバル拡張モデル(
RAG)の最適化において、
変分推論を使用する研究はまだ少ない。本研究では、リトリーバル拡張モデルのエンドツーエンドトレーニングおよび評価を可能にする変分オープンドメイン(VOD)フレームワークを導入。
VODフレームワーク:自己正規化推定値に基づき、
Réyni変分境界を利用してタスクの周辺尤度を近似。大規模コーパスにおけるリトリーバー分布も扱えるトラクタブルなアプローチを提供。
実装結果:医学試験問題に関する複数選択肢形式のデータセット「MedMCQA」でBioLinkBERTモデルをトレーニングし、MedPaLMモデルを上回る成績を示す。パラメータ数は大幅に少ないにもかかわらず、高い精度を達成。
医学セマンティック検索への応用:学習されたリトリーバー成分の効果を医学的文脈でのセマンティック検索において実証。