NISHIO Hirokazu[Translate]
対立次元

対立次元
1: AとBが対立している
2: (A+B)とCが対立している
3: ((A+B)+C)とDが対立している
ここで次元数が足りなくて2次元のPCAではAとBが同一視されるようになる
非線形の次元削減(UMAPなど)では分かれるはず

実験してみた
py
A = np.array([-1, 0, 0]) B = np.array([1, 0, 0]) C = np.array([0, 2, 0]) D = np.array([0, 0, 4])
SD=0.1
次元の不足によってPCAでは一番分離の少ないAとBが混ざって一つになっている
UMAPでは明瞭に分かれている
SD=0.5
AとBのデータがそもそも分離しなくなってくることによってUMAPでもそれらが近接配置されている
SD=0.75
A, B, Cが分離できなくてひとつながりになってくる
SD=1
SD=1.5
渾然一体になっている
ヒモ状のアーティファクトが発生している
データが少ないからか？
10倍に増やしても無理

これらを区別するには変分ベイズが必要そう
Numpyで混合ガウス分布のEMアルゴリズムを実装した - 西尾泰和のはてなダイアリー
混合ガウス分布モデルのクラスタをk平均法とEMアルゴリズムと変分ベイズでそれぞれ推定 - 西尾泰和のはてなダイアリー
でもそもそも現実のデータに関して正規分布と仮定して良いか微妙なので筋悪

Related Pages

  • →ai_objectives_institute×bertopic×hdbscan×UMAP×aiと著作権に関するパブリックコメント×国連igf京都大会×東京都知事選挙2024×安野たかひろ×日テレnews×2024衆院選×ブロードリスニング×peter_eckersley×ブロードリスニング×polis_2.0→
  • Talk to the City
  • →plurality_tokyo_namerakaigi×サイボウズラボ勉強会×pol.is×community_notes×メカニズムデザイン勉強会×majority_judgement勉強会×pluralityとpolis勉強会×polis勉強会×quadratic_votingとplural_management勉強会×Talk to the City勉強会×世論地図勉強会×高次元データ分析勉強会×デジタル民主主義研究ユニット×ピボット×古典期アテネの民主主義のスケール×国民こそが唯一の正統な権威である×フランス革命×フランスでの女性参政権×一人一票×未成年者には投票権がない×成年被後見人の選挙権×ドメイン投票方式×デメニー投票×デーメニ投票×quadratic_voting×glen_weyl×qv×radical_markets×audrey_tang×vitalik_buterin×quadratic_funding×audrey_tangのqv×glen_weylのqv×quadratic_votingがシナジーの発見に有用×台湾総統杯ハッカソン×qvは投票しないことに意味のあるメカニズム×「投票しないことは良くないことだ」は根拠のない思い込み×vitalik_buterinらのquadratic_funding×a_flexible_design_for_funding_public_goods×akb48総選挙×gitcoin×gitcoin_grants×公共財×リソースの再分配×社会的意思決定×メカニズムデザイン×多数決×くじ引き×抽選制×抽籤制×プラトン×アリストテレス×ジェームズ・マディソン×ジョン・スチュアート・ミル×アレクシ・ド・トクヴィル×選挙は4年に一度5bit送信する遅い通信だ×ブロードリスニング×Polis×pol.isでのuberの議論×metaがファクトチェックを廃止×community_notesにおける行列分解を用いた信頼度スコアリング×多様な主体から支持されることを評価する仕組み×Talk to the City×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×UMAP×世論地図×mielka×2024衆院選×japan_choice×meta-polisの構想×mashbean×協力の深さと広さのトレードオフ×plurality本×aiあんの×タウンミーティング×非同期化×空間と時間の制限から解き放つ×chatgptとaiあんののコミュニケーションの形の違い×ai政治家の3つのレベル×aiが間に入って非同期化×open_space_technology×アジェンダ設定の権限を人々に開放する×vitalik×主観主義×3つのイデオロギーの間に2つの対立軸がある×aiが仲介するコミュニケーション×bluemo×intersubjective_model_of_ai-mediated_communication:_augmenting_human-human_text_chat_through_llm-based_adaptive_agent_pair×時間の制約×心理的安全性×緩やかに繋ぐ×デジタル民主主義2030×同じ時間と場所を共有できない人に機会を用意×metapolis×スケーラビリティ×デジタル民主主義×コミュニティ×大規模コラボレーション×xy問題×熟議のための4つのステップ×リプライはスケールしない×リプライさせない×your_priorities×コトノハ→
  • デジタル民主主義をスケールさせるには？
  • →pol.is×意見分布の可視化×fisherの正確検定×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×polis体験レポート:テロの原因究明をするか×polis体験レポート:同性婚を合法化すべきか×感情収集プラットフォーム×sentiment_gathering×sentiment_gathering_platform×理解されたいという欲求×西尾の体験_on_plurality_tokyo×PCA×UMAP×k-means×leiden_graph_based_community_detection×hierarchical_clustering×短文×polisをもっとやりたい→
  • Polis
  • →t-sne×laurens_van_der_maaten×UMAP×leland_mcinnes×ラベル数の動的変更→
  • Nomic
  • →11万人の意見クラスター分析×UMAP×one-hot表現×匿名の市民の意見ベクトルはそんなに明瞭に別れてない→
  • 11万人のUMAP
  • →PCA×主成分分析×決定係数×説明分散×explained_variance×explained_variation→
  • 寄与率
  • →サイボウズラボ勉強会×plurality_tokyo×plurality×ブロードリスニング×Polis×pluralityとpolis勉強会×polis勉強会×plurality_seoul×audrey_tang×gisele_chou×Talk to the City×ai_objectives_institute×deger_turan×aiと著作権に関するパブリックコメント×安野たかひろ氏が東京都知事選に出馬へ×マイナンバーカード×直接投票×オープンソース×デジタル公共財×人間増強×知的生産性の向上×都知事選でtalk_to_the_cityをする×tokyoai×主観か客観かではなく、一人の主観から大勢の主観へ×シビックテックによる、社会と民主主義のアップデート×手書きの図×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis体験レポート:同性婚を合法化すべきか×台湾の同性婚は親族にならない×vtaiwan×オープンガバメント×デジタル民主主義×透明性×参加型民主主義×アジェンダ設定の権限を人々に開放する×モデレーション×polisのモデレーション×aoiのtttcページにaudrey_tangのコメントがある×集団的議論×集団的意思決定×peter_eckersley×electronic_frontier_foundation×let's_encrypt×certbot×privacy_badger×brittney_gallagher×talk_to_the_cityでplurality本の内容を可視化×bertopic×BERTopic: Neural topic modeling with a class-based TF-IDF×UMAP×hdbscan×mashbean×初探_polis_2.0：邁向關鍵評論網絡×熟議×レジリエンス×双方向的マスコミュニケーション×国民ラジオ×一方向的マスコミュニケーション×聞く姿勢×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×雪玉×polis_2.0×発想法×川喜田二郎×kj法×凝集型階層的クラスタリング×u理論→
  • Talk to the City勉強会
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]