潜在意味解析
各行が各単語、各列が各文書の疎行列
各成分の重み付けに tf-idf を使う
この行列を特異値分解する
k個の最大特異値を選べばk次元への最小誤差での埋め込みができる
文書IDから単語tf-idfベクトルを得る関数を、隠れ層がk個・1層のAutoencoder的ネットワークで学習するのに相当する
Related Pages
- →要約作成に対する意思入れ×要約の概念を詳細化する×textrank×latent_semantic_analysis×encoder-decoder×ragにおけるドキュメント検索精度向上について(概要編)→
- →dual-encoder_framework×tf-idf×bm25×dpr×dense_passage_retrieval×dense_passage_retriever×two-tower_model→
- →フレーズベースtf-idf×名詞句解析×tf-idf×キーフレーズ抽出×村脇_有吾×conundrums_in_unsupervised_keyphrase_extraction×textrank×単語ベースtf-idf×文法性→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]