文書が階層的
書籍の各ページを対象文書とする場合
各対象に出現するキーワードはDFが大きいのでTFIDFは小さくなる
書籍を一つの対象文書とする場合
書籍内のいくつものページに出現するキーワードはTFが大きいのでTFIDFが大きくなる
つまり対象の輪郭によって逆方向の影響を受ける
対象の輪郭によらない尺度はないか？
{\displaystyle {\hat {f}}_{h}(x)={\frac {1}{nh}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)}
適当なウィンドウで密度推定をした場合に、本当に一様に出現するものなら一様分布になるはず
そこからの分布の距離を見れば良いのではないか
分布の距離はカルバック・ライブラー情報量 - Wikipediaで良いか
しかも片方の分布が固定
大小関係を考えるだけならQを無視して良いので
\sum P(i) \log P(i)
あ、これ負のエントロピーでは
-\sum P(i) \log P(i)
接尾辞配列が作られているとする
あるキーワードの出現位置は、そのキーワードで始まる接尾辞の出現位置を見れば分かる
そこから密度推定ができないか？
もしくは密度推定を飛ばして直接エントロピーを計算できないか？
想定しているデータサイズ
書籍1000冊分+ブログなど、1GBいかないぐらい
雑な方法
文書全体を適当なサイズのビンに割っておいて、キーワードの出現数をビンごとに数える
ビンを10000としてキーワードを最長50文字、カウントを2バイトとしても大した量ではない
この数える過程はO(N)
最後にエントロピーでソートして結果を見る
Related Pages
- →ショーペンハウエル×エントロピー×難しい課題×全体を一つの問題だと考えている×問題分割×切り分け×この解決方法で解決できる部分はあるか？×その方法では解決できない→この方法で解決できる部分はどこか？×たとえ×問題解決×この問題は難しい→
- →オイラー路×グリッド上の幅優先探索×ハンガリアン法×二部グラフの最大マッチング×二重辺連結成分分解×二重頂点連結成分分解×全点対間最短路×単一始点最短路×強連結成分分解×彩色数×最大クリーク×最大流×最大独立集合×最小全域有向木×最小全域木×最小流量制限付き最大流×最小費用流×橋/関節点×bit×binary-trie×convex-hull-trick-add-monotone×li-chao-tree×link-cut木_部分木クエリ×link-cut木×ウェーブレット行列×スパーステーブル×スライド区間の昇順k個の和×セグメント木×トライ木×マージ可能ヒープ×列の平方分割×平衡二分探索木×永続配列×素集合データ構造×unionfind×ローリングハッシュ×接尾辞配列×最長共通接頭辞×最長回文×回文×複数文字列検索×hl分解×全方位木dp×最小共通祖先×木の直径×木の重心分解×根付き木に変換×mod-pow×オイラーのφ関数×オイラーのφ関数テーブル×ベル数×ラグランジュ補間×二項係数×二項係数テーブル×任意mod畳み込み×分割数×分割数テーブル×商列挙×形式的冪級数×形式的べき級数×拡張ユークリッドの互除法×拡張ユークリッド互除法×第2種スターリング数×約数列挙×素因数分解×素数テーブル×素数判定×組合せ×行列演算×進数変換×階乗×離散対数問題×高速フーリエ変換×divide-and-conquer-optimization×monotone-minima×スライド最小値×一次元累積和×二次元累積和×個数制限付きナップサック×最大長方形×最適二分探索木×最長増加部分列×ダブリング×包除原理×燃やす埋める問題×燃やす埋める×牛ゲー×mo’s_algorithm×offline-dynamic-connectivity×座標圧縮×アルゴリズム→
- →アルゴリズム×蟻本×区間スケジューリング×二分探索木×unionfind×最短路問題×最小全域木×ユークリッドの互除法×ニ分探索×しゃくとり法×半分全列挙×座標圧縮×セグメント木×binary_lndexed_tree×バケット法×平方分割×ビットdp×bitdp×行列累乗×繰り返し二乗法×最大流×最小カット×二部マッチング×一般マッチング×マッチング×辺カバー×安定集合×点カバー×最小費用流×凸包×grundy数×強連結成分分解×2-sat×lca×ダブリング×接尾辞配列×sparse_table×rmq×atcoder→
- →出現集中×ポアソン分布×df×idf×tf-idf×この文書を代表するキーワードらしさ×単語分割×sentencepiece×sentencepieceのユニグラム言語モデル×viterbiアルゴリズム×Suffix Array×キーワード抽出×接尾辞配列→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]