アテンションとクラスタリング
アテンションは、あるqueryに対して、関連の強いkeyに対応するvalueを重み付き平均する計算である。
y_i=\sum_j \operatorname{softmax}_j(q_i^\top k_j),v_j
これは、学習された類似度空間におけるカーネル平滑化や近傍情報の集約とみなせる。keyとvalueが同じ点群を表し、内積が距離に対応する条件では、各点を近傍の重心へ動かすmean-shiftに近い。
ただし、通常のself-attentionは k平均法そのものではない。
k平均法は「データ点×クラスタ中心」の所属関係を計算する。
self-attentionは「データ点×データ点」の参照関係を計算する。
アテンションヘッド数はクラスタ数ではなく、異なる射影や類似度の見方の数である。
一つのヘッドでも、queryごとに異なる複数の近傍構造を表現できる。
LLMに多数の項目を与えてグループ化させる場合、各層のアテンションによって、話題、人物、因果関係、対比などの複数の観点から情報が集約される。その結果、残差ストリームや出力途中のtoken状態に、一時的なグループのプロトタイプが形成されると考えられる。
より直接的にsoft k-meansに近いのは、K 個のslotやプロトタイプをqueryとして用意し、各データ点をそれらへ競合的に割り当て、重み付き平均で反復更新する構造である。この場合はslot数 K をクラスタ数と対応づけられる。
要するに、
\text{1個のアテンションヘッド} \approx \text{学習されたカーネル平滑化器}
であり、LLMによるグループ化は、
\text{多視点の近傍集約} + \text{特徴変換} + \text{動的なプロトタイプ形成}
によって実現されるクラスタリング的な計算と捉えるのが適切である。
きっかけ
300件入力した、コンテキストに置いた、というだけではKJ法的なグループ編成ができている保証はない
アテンションヘッドをkとした場合のk個のクラスタのk平均法みたいな感じではないか
着眼点の中心は合っています。ただし、
>アテンションヘッド数 h をクラスタ数 k とする k-平均法
と捉えるのは違います。より近い表現は、
>各アテンションヘッドは、学習された類似度空間におけるカーネル平滑化器であり、Transformer全体はそれを多層・反復的に用いるメッセージパッシング系である。条件を追加すると、その一部をsoft k-meansとして使える
です。
Related Pages
- →注目の購入に課税×quadratic_payments:_a_primer×speech_is_free,_distribution_is_not×アテンション購入×アテンション×quadratic_payments×二乗コスト→
- →日記2025-02-17×singularityではなくpluralityという未来×plurality×シンギュラリティ×Kiite World×ランキング×アテンション×視聴体験の多様性×多様性×連想のネットワーク×集めて接続×新しい公衆×行政と民間が協働で“新しい公”を創る。govtech東京が描く、新たな社会とは｜govtech東京公式note×空気抵抗×技術的特異点×終端速度×d/acc×2025-02-16サンデージャポン→
- →権力は抑圧だけでなく生産する×分類×行為×正当化×どう扱うべきか×人を扱える存在に変換する×分類は人間を制度の管理対象に変換する工程×ミクロな権力技術×台帳×権力のミクロ物理学×理解可能×管理可能×権力の技術×クラスタリング×最適化→
- →アテンション×尊重されない×信頼されない×軽視される×移動する人×居続ける×後から来た人×見下し×学生デバフ×大人が子供より優れているという思い込み×社会資本は人と人の間に溜まるリソース×移譲×裁量×居場所は腕力で作れる×新参者が軽視されるコミュニティ×居場所×腕力×新参者×軽視×コミュニティ×giver×目的指向組織×パーミッションレス×先んじてgive→
- →埋め込みベクトル×umap×クラスタリング×an_empirical_configuration_study_of_a_common_document_clustering_pipeline×tfidfvectorizer×bertopic×top2vec→
- →manifold×予測市場×他人が理解する前にポジションを取れ×社会資本×dd2030_slack×普通の人たちを予言者に変える_「予測市場」という新戦略×アビトラージ×流動性×民主主義のためのカルダシェフスケールと、群衆の知恵で政策を選ぶfutarchy（未来主義）の覚え書き×アテンション×限られたリソース×理解できないものを見たときにアンチポジションを取る人→
- →サイボウズラボ勉強会×世論地図勉強会×2024衆院選×世論地図×世論地図のumap×濃い塊の抽出×カール・ピアソン×karl_pearson×多次元尺度構成法×主座標分析×自己組織化マップ×som×self-organizing_maps×カーネル法×再生核ヒルベルト空間×サポートベクターマシン×isomap×isometric_mapping×lle×locally_linear_embedding×対立次元×pca×umap×2022年参院選のumap可視化×polisクラスタ2つになる問題×東京大学谷口研究室・朝日新聞社共同調査×2022年参院選のpolis的可視化×convex_hull×code_for_japan_summit_2024×世論地図3970人umap×dbscan×高次元泥団子×集団極性化×匿名の市民の意見ベクトルはそんなに明瞭に別れてない×UMAPの結果をクラスタリングするべきか×tsneの結果のクラスタリングは慎重に×賛成反対データのumap×シン東京2050ブロードリスニング×テキスト埋め込みベクトルの分布×text-embedding-3-large×小さな粒のある一つの塊×クラスタリングとパーティショニング×k平均法×クラスタリング×spectralclusteringとhdbscanの違い×日テレnews×2024衆院選×ブロードリスニング×aiによるクラスタ解説×濃いクラスタ抽出×ptttc2024-11-12×外れ値×まずは大雑把に×全体像を把握したい×talk_to_the_city_turbo×tttc:_aiと著作権に関するパブリックコメント×talk_to_the_city勉強会×kj法×発想法×川喜田二郎×凝集型階層的クラスタリング×離れザル×側面×word2vecによる自然言語処理×概念の類似度は距離ではない×50枚のkj法は10時間の想定×5年間で129枚しかkj法をしていない→
- →見慣れないもの×悲観的勘違い×見慣れないものをちゃんと見ずに攻撃する×理解できないものを見たときにアンチポジションを取る人×悲観的な勘違い×情報量が少ない×過小評価×アテンション×改善機会×攻撃的姿勢×人伝て×ドツボ→
- →スルーが許されるコミュニティ×立川_智也×多様性×単一性×個人が複数のコミュニティに属して、その人の中で多様性を保つ×単一性の高いコミュニティ×アオいいよね×一部の知識が全体で高濃度に共有されている×知識が高濃度に共有されてるコミュニティが楽しい×参加者全員が楽しめるべきだ×知識の高濃度共有×知識のない人に合わせた通訳×話題のコントロール×同期的コミュニケーション×興味がないことは読み手が読み飛ばせばいい、話し手に読み手の期待にそう出力を要求するな×スルーの許される雑談×スルーされても気にしないコミュニティ×オンラインのコミュニティは参加非参加の境界が曖昧×離れる×アテンション×ミュート×箱に違うものを放り込んでる×言葉が大きすぎる×コミュニティに対する期待水準×他人のケアにエフォートを割く気がな×コミュニティが消滅しても仕方ない×オーナーシップ×自分が頑張ったらコミュニティが良くなるし、頑張んなかったら良くならない×参加者のオーナーシップが高いコミュニティ×自分が改善することのできる対象×自然にあるもの×ハンドルを握ってる感×コミュニティには誰かの意思がある×地縁的コミュニティ×離れてもつながり続けるコミュニティ×同窓会コミュニティ×うっすらとした期待×「仲良くしたい」という意図×人が「人の集団」に参加する場合の意図×自分に注目して欲しい×自分の達成したいことを手伝って欲しい×自分と仲良くして欲しい×そっとしておいて欲しい×マクレランドの欲求理論×巻き込まれ→
- →aiエージェント×スケールアウト×組織×幹部の仕事は文化と価値を定義して強制し、良い決定を承認する事×強制×手放さない×共感×キャンプファイヤー型組織×人の輪が広がる×人が集まる×アテンション×アテンション投票×指数関数的成長のエンジンを作る×指数関数的成長のエンジンのシェアを持つ→
- →新しい体験をするチャンス×アイデンティティ×自己像×社会に溶け込む×not_for_me×君に君を分類する能力なんてない×柵の中の輝き×ベクトルアイデンティティ×ベクトル空間×社会的距離×地縁的コミュニティ×ロングテール×アテンション×注目を集めたものがさらに注目を集める×切り取った尻尾のトップ×kiiteworldツアー告知×ボカロp10選アドカレ×キュレーションという形の価値創造×kiite_cafe×探索のメタファー×世界の探検のメタファー×カフェのメタファー×産業技術総合研究所×クリプトン・フューチャー・メディア株式会社×後藤_真孝→
- →サイボウズラボ勉強会×pluralityとpolis勉強会×plurality×polis×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×ec2でpolis×polisのdbからデータをエクスポート×民主的プロセス×投票×多数決×デジタル民主主義×デジタル投票×意思決定×熟議×透明な意思決定プロセス×熟議民主主義×democratic_inputs_to_ai×anthropic×the_computational_democracy_project×opportunities_and_risks_of_llms_for_scalable_deliberation_with_polis×雨傘運動×データ大使館×government_as_a_service×領土を必要としない国家×エストニアで電子投票による票数が過半数になった×ethereum×世界コンピュータ×台湾デジタル発展省が分散型idの標準化に参与×シルバー民主主義×ドメイン投票方式×余命投票制度×一人一票×紙と箱の投票×ヤシノミ作戦×落選運動×技術的実力行使×代議制×sentiment_gathering_platform×センチメント×感情×納得×人には個人差がある×一つの方法で全員のニーズを満たすことはできない×polis体験レポート:同性婚を合法化すべきか×関係ない設問が多すぎる×後から関係が見出される×離れ猿×投票行列×主成分分析×k平均法×シルエット係数×ベータ分布×ベルヌーイ分布×共役事前分布×ベイズ推定×fisherの正確確率検定×超幾何関数×コンセンサス×拒否権×コトノハ×magiシステム×対立×台湾のタイムゾーンを変えるかどうかの議論の事例×オードリー・タンが語るデジタル民主主義→
- →強化学習×機械学習勉強会×谷口忠大×椹木哲夫×双シェマモデル×自律エージェントの為の自己組織化機械学習手法の提案×piaget×シェマ理論×schema×スキーマ×シェマの均衡化×k平均法×クラスタ_=_シェマ×シェマの分化×身体と環境の相互作用を通した記号創発×環境との相互作用×身体と環境の相互作用×記号創発×知覚シェマ×行為シェマ×意図×記憶容量の有限性×主観的誤差×知覚シェマ活性度×距離情報からカテゴリ化を行うことの問題×汎化行為概念の適応的獲得×作られるシェマの量と身体能力の関係×人間はベクトル演算が弱い×身体能力の高いロボットは言語を作る必要がない×身体性×選好注視法×報酬×生まれつきの好み×自然淘汰による最適化→
- →成績×トークン×透明化×可視化×チュートリアル×広く知られたui×初対面×大勢の人間×行動デザイン×熱狂的な人×リーダーボード×熱意のある個人×アテンション×リソース×熱意は貴重なリソース×名前を覚えてもらえる×人脈とはどれだけの人を知っているかではなく、どれだけの人に知られているかだ×社会資本×変革センター×熱意のある人はリソース×お客さん×活動する人×一次元尺度換算→
- →network_goods×認識する人が増えると価値が上がる×情報はフリーになりたがる×coordination_mechanisms_with_griff_green×ブランド×アテンション×つながる×アテンション流入×ネットワーク効果→
- →steven_lalley×e._glen_weyl×quadratic_voting×mechanism_design×メカニズムデザイン×民主主義×平方投票×直接民主制×発言権トークン×アテンション×継続価値×発言権クレジット×quadratic_votingはなぜ平方根を取るのか×中庸→
- →日記2024-02-01×時間の断片化×シナジー×アテンション×断片化×自分のプロジェクト×面白さドリブン×「過去にやろうと思ったこと」にすぎない×愚かな一貫性×目標は修正してもよい×ロックイン×無責任感×ステークホルダー×すべての人にバイアスがある→
- →十牛図×新しい自分×唯識思想×自己究明×生死解決×他者救済×牛=真の自己×ビハーラ×慈悲行×雨ニモマケズ×個人中心主義×廓庵禅師×北宋×ヨーガ×禅×心だけがある×一切皆空×玄奘×阿頼耶識×一切種子識×観想十牛図×尋牛×一人一宇宙×カント×時間と空間は先天的な直感形式×存在×当為×sein×sollen×見跡×自灯明×法灯明×自×正聞熏習×無分別智×非有非無×誤った二分法×中道×パルメニデス×デカルト×キリスト教×創造主×勝義諦×世俗諦×捨置×語りえぬものについては，沈黙せねばならない×得牛×アテンション×牧牛×心の欲するところに従えども矩を踰えず×災難に逢う時節には災難に逢うがよく候_死ぬ時節には死ぬがよく候×良寛×騎牛帰家×個をとおして普遍が顕現してくる×忘牛存人×人牛倶忘×若い衆や_死ぬが嫌なら_今死にゃれ_一度死ねば_もう死なぬぞや×白隠×不生不死×空一円相×無我×縁起×菩薩行×不可思議×不可言説×言亡慮絶×自分は空×無数の縁×自分などというものはない×一人一宇宙が破裂して全宇宙になった×内外の境が消えた×返本還源×自性清浄心×魂のルフラン×方法的懐疑×執着×我執×法執×コペルニクス的転回×唯識無境×華厳経×世親×唯識二十論×入鄽垂手×凡夫×菩薩×上求菩提×下化衆生×智慧×慈悲→
- →査読×追試×プレプリント×希少な財×アテンション×タイムリーに公開×査読付き論文×個人にとって得×得×交換様式c×贈与経済×優秀な人材×優秀さのシグナル×将来価値×現金というコモディティ×シグナリング→
- →キャンプファイヤー×組織に明確な境界はない×中央×ビジョン×距離感×人の輪×真ん中で踊り続ける×おもしろい×ゲーテッドコミュニティ×組織境界の曖昧化×二重コミュニティ×ビジョンはおもしろいのが重要×人の輪が広がる×人が集まる×アテンション×キャンプファイヤー経営→
- →lingr×ブースト会議×中間合宿×mattermost×2021未踏ジュニア×反転学習×実践的知識×act-iからact-xへ渡されたバトン×学会チャット×サイボウズ×kintone×実況スレ×実況スレッド×tsudaる×アテンション→
- →理解の誤り×理解×主観×理解を求めるのは理解が必要な時だけにした方が良い×英語版作成に伴う推敲(~1章)×人に教える学習方法×理解は仮説×hatena2012-10-20×理解されないことに怒る人は最先端を走ったことがない×最先端×理解されない×理解されないことに対する諦め×思うままにならない×正しく理解させたい欲求は権力欲求×立証責任×アテンション→
- →中か外かは誤った二分法×0でも100でもない×学びの最大化×コピー困難×経験的知識×調達困難リソース×現金は弱い資本×お金で買えないリソース×llm無職×時間リソース×アテンション×希少リソースは最も成果を生む確率が高いと主観的に信じるものに投資すべき×connecting_the_dots×日記2023-07-25×日記2023-07-27×日記2023-04-17×日記2022-07-26→
- →内側の視点×外側の視点×内輪ウケ×駄サイクル×観測可能×情報過多×コンテンツは過剰×混雑×混雑するものに課税し公共財に補助する×アテンション×文脈の接続×文脈×接続×つながりによって表現×つながり×他者との関係性×間主観性×コミュニティ所属ではなくつながりで表現→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]