テキスト埋め込みベクトルの分布
そもそもテキスト埋め込みベクトルの分布の形状はどのようなものか
データはXから取得した18129件からTalk to the Cityのextructionで抽出されたargument 7574件
これを
text-embedding-3-large で3072次元のベクトル空間に埋め込んでいるOpenAIが返す埋め込みベクトルは正規化されているので全てのベクトルの長さは1である
なので3072次元の球面上に分布している
pydef p(x):
print(f"{x.mean()} ± {x.std() * 3}")
norm = np.linalg.norm(embeddings_array, axis=1)
p(norm) # -> 0.999999999999999 ± 1.2314317043463034e-15各軸の値はSD 0.01程度の狭い範囲に集まっている
pyaxis_std = embeddings_array.std(axis=0)
pd.DataFrame(axis_std).describe()
3072次元のうち80次元が6割の情報を持っている
9割の情報が500次元に散っている
とても高次元だな、2次元だと情報が1割もない
各データの他のデータに対する内積は0.4あたりを平均として0.1~0.7程度
順番をシャッフルして隣のベクトルとの内積をとったヒストグラム
各軸の値がSD 0.01程度の狭い範囲で動くのに全体としては結構範囲が広いな〜
これは高次元球面上のベルトが実はとても広いことに起因する感覚のずれか
ユークリッド距離にしておくとこんな感じ
ほとんどのデータが他のほとんどのデータと0.8~1.4くらい離れている
これはかなり重要な特徴で、DBSCANのepsはデフォルト値だと0.5だから「ほとんどすべての点が隣接してない」になっちゃうわけ
>eps float, default=0.5
>The maximum distance between two samples for one to be considered as in the neighborhood of the other.
HDBSCANのcondensed_tree_.plot
デフォルトのHDBSCAN(min_cluster_size=5)
HDBSCAN(min_cluster_size=30)にして推定される密度をなめらかにしたもの
つまり大雑把にいうと「おおきなひとつのクラスタにちょっと小さなこぶがあるだけ」
lambda 1.0より小さい「密度薄くてもOK」な領域では7000個全てが一つにつながっている
~1.2の領域でクラスタとみなされない小集合が離脱していき1000個程度しか残らない
その小集合が3つに分かれる
min_cluster_size=5ではクラスタとみなす小集合が増えてもっと細かく描かれている
Related Pages
- →盲点×triz×トップダウンとボトムアップ×盲点カード候補×まだ絵のない盲点カード×失敗確率が高いが平均的に良い×バラツキが多い方がよいとき×円であるという思い込み×量が減らなくても割合は減る×直交しない2軸×湖にコップ一杯の水を入れる×インタラクションの属性×対立しているものを分割する×上が単一という思い込み×バーベル×解が一つとは限らない×大きな石だけが水面から顔を出す×トートバッグ×二人が違うことを言う絵のシリーズ×二人が違うことを言う絵のシリーズを盲点カードに追加するかどうか？×無味乾燥×(6.3.1.1)_誰が顧客かわからなければ、何が品質かもわからない×用途が明確になってからふるいわけ×ネットワーク構造×ツリーとリゾーム×知識のツリーではなく知識のリゾーム×「xである」と「xでない」が両立する×家族的類似性×妥協の方法は複数ある×良いものを移動させる×要素ではなく集合×集合ではなく軸×対立は一つだけではない×描きやすい絵のバイアス×最速のコースは最速ではない×片方向ではなく両方向×観測範囲の問題×誤った二分法×無味乾燥ページ×効果の有無×「なぜ」は曖昧×大小関係が存在しない×次元の呪い×イコールでないものを同一視し、差の拡大によって同一視できなくなる×円柱は円にも四角にも見えるが、円でも四角でもない×自分を自分の一部に使う×知識の少ない人からでも学ぶことができる×無の場所×同じものに属する違うもの×対称性×黄金比×陰陽太極図×弁証法×2015×螺旋階段×逆に進むがゴールは同じ×一つでも二つでもある×降りるために登らなければならない×別の世界で解決する×「同じ」と「違う」は両立する→
- →次元の呪い×高次元空間において正規分布はほぼ超球面上の一様分布×悲観的な勘違い×利用と探索のトレードオフ×c3:_computer_created_cats×ベルヌーイ分布×トンプソンサンプリング×強化学習×トンプソンサンプリング採用の流れ×良いの定義→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]