<a href="https://voice.pkshatech.com/n/n83343d0e00e0">AI王 〜クイズAI日本一決定戦〜 に参加し第3位入賞した話｜PKSHA Delta</a> 2023-01-04
<ul>
<li><blockquote>
<img src="https://gyazo.com/763fb9ae8f7e017772460b9ef471e515/thumb/1000" alt="image">
</blockquote>
</li>
<li>検索を組み合わせる話
<ul>
<li><a href="/ja/DPR">DPR</a>と<a href="/ja/BM25">BM25</a>を組み合わせてる<ul>
<li>DPRが雑に言えば<a href="/ja/%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E6%A4%9C%E7%B4%A2">ベクトル検索</a>で、BM25とは雑に言えば「モダンなTF-IDF」</li>
<li>ベクトル検索が低頻度語に弱い(=固有名詞、専門用語や製品名に弱い)から、普通の検索を組み合わせる</li>
</ul>
</li>
</ul>
</li>
<li><blockquote>
BM25: 語彙一致ベース
</blockquote>
</li>
<li><blockquote>
<a href="/ja/Dense%20Passage%20Retriever">Dense Passage Retriever</a> (DPR)...事前学習モデルを利用した密なベクトルベース
</blockquote>
<ul>
<li>意味的な類似性に強い</li>
<li>低頻度語を見逃す / 分布外（OOD）での性能劣化が著しい</li>
</ul>
</li>
<li>DPR, BM25 の両者の検索結果のオーバーラップは極めて小さい
</li>
<li>→両者のいいとこ取り
</li>
<li>全チームが <a href="/ja/Retriever-Reader">Retriever-Reader</a> 型
<ul>
<li><a href="/ja/Fusion%20in%20Decoder">Fusion in Decoder</a>を Reader として採用<ul>
<li>上位 100 件程度</li>
</ul>
</li>
<li><blockquote>
情報検索周りの論文を調査していくと、この文脈での研究がいくつか見つかり、BERT ベースで分類器を構築するよりも、seq-to-seq ベースのものの方が精度が高い
</blockquote>
<ul>
<li>Rerankerを学習した(<a href="/ja/%E3%83%AA%E3%83%A9%E3%83%B3%E3%82%AF">リランク</a>)</li>
</ul>
</li>
</ul>
</li>
</ul>
<a href="/ja/PKSHA">PKSHA</a>
<a href="/ja/LLM">LLM</a>
<a href="/ja/AI%E7%8E%8B">AI王</a>
<a href="/ja/%E3%82%AF%E3%82%A4%E3%82%BAAI">クイズAI</a>