AIの探索範囲が狭いという話から

解説

高次元空間の中で近傍を探索しても球状の狭い空間しか探索できない

が、一旦低次元空間に降りると、その空間での近傍探索は高次元空間では円柱状の空間の探索になる

この着想がword2vecの時にもあった

が、どの軸に投影してて異次元化するのかという話がオープンクエッションだった

低次元の空間に対する投影がベクトル空間の意味での射影である必要はあまりない

LLMによって2つのものの違いを捨象させるとか

「低次元」というのはベクトル空間由来のメタファーであるので、実際に必要なのは低次元であることではない

投影先の空間での探索が投影元の空間の近傍探索では到達しないようなジャンプであること

これは有用であることの十分条件ではない

ハッシュ関数なども同じ性質を持つからね

「抽象化は次元削減」「類似度の高いベクトルを探す」「LSH」「HNSW」「近似的NearestNeighbors」と並んでおり、まさに 「抽象化された空間で近傍探索」 をやっている。

タイトルそのまま。「どの軸を選んで潰すかはバンディット問題」と書いている。

「次元削減＝抽象化」の同一視:

次元削減は抽象化 / 抽象化は次元削減だから低次元になる — 「複雑な生の現実が一番高次元、人間が抽象化して解釈すると次元が下がる」。

抽象化空間で解いて引き戻す = アナロジー:

メタファー空間でGPT4に発散と抽象化をさせてから具体化する — 「シンボル空間に写像→構造を明確化→逆写像」「対応付け、連想し、引き戻す」（『エンジニアの知的生産術』p.196）。

登って降りるメタファー — 畑村『技術の創造と設計』との一致。

過去にあるもの（同型）

抽象化空間で近傍探索

抽象化とLSH (2018) — 「脳内で順番に内積計算なんてしてるはずがない」→ LSH/HNSW

どの軸を潰すかという問題

アナロジーと次元削減 — 「どの軸を選んで潰すかはバンディット問題」

word2vec の時にも

概念の類似度は距離ではない — 三角不等式を満たさない／「いろいろな軸で潰した後での距離」／Dropout=「ランダムに選んだ軸の方向に潰す」

連想 = 投影してからの近傍探索

話が飛躍する人=ベクトル検索エンジンか？ (2023) — 「ランダムに次元削減してから類似度検索してる」

投影→近傍→引き戻す

メタファー空間でGPT4に〜 / シンボリックモデリング / 対応付け、連想し、引き戻す（『エンジニアの知的生産術』p.196）

今日新しく加わったもの

球状 vs 円柱状という幾何イメージ — 過去メモには出ていない。

投影は線形射影でなくてよい — 「LLMに違いを捨象させる」も投影の一種 — 2018 の LSH の話より広く、メタファー空間の話より抽象化された定式化。

「低次元」は vector space 由来のメタファー、本質はジャンプ性 — 過去メモの「次元削減」「抽象化」より一段メタな命題。

ジャンプ性は必要条件であって十分条件ではない（ハッシュ関数の反例） — これも新規。意味構造の保存が要件として浮上する。