Stop Misusing t-SNE and UMAP for Visual Analytics
論文は「t-SNE/UMAPの誤用が可視化実務で常態化」していることを、136本の論文レビュー＋利用者12名／DR研究者8名インタビューで検証。主因はDRリテラシー不足と「皆が使っているから安全」という思い込み。対策として、タスクに適したDRとハイパラを自動選択する仕組み（仮称 VoyagerDR）も提案。
タスク別：使い分け早見表
識別系（Identification）＝近傍探索・外れ値検出・クラスタ“有無”の把握
調査系（Investigation）＝点間距離比較・クラスタ間距離/密度比較・クラス分離度の吟味
Related Pages
- →ai_objectives_institute×bertopic×hdbscan×UMAP×aiと著作権に関するパブリックコメント×国連igf京都大会×東京都知事選挙2024×安野たかひろ×日テレnews×2024衆院選×ブロードリスニング×peter_eckersley×ブロードリスニング×polis_2.0→
- →埋め込みベクトル×UMAP×クラスタリング×an_empirical_configuration_study_of_a_common_document_clustering_pipeline×tfidfvectorizer×bertopic×top2vec→
- →サイボウズラボ勉強会×世論地図勉強会×2024衆院選×世論地図×世論地図のumap×濃い塊の抽出×カール・ピアソン×karl_pearson×多次元尺度構成法×主座標分析×自己組織化マップ×som×self-organizing_maps×カーネル法×再生核ヒルベルト空間×サポートベクターマシン×isomap×isometric_mapping×lle×locally_linear_embedding×対立次元×PCA×UMAP×2022年参院選のUMAP可視化×polisクラスタ2つになる問題×東京大学谷口研究室・朝日新聞社共同調査×2022年参院選のpolis的可視化×convex_hull×code_for_japan_summit_2024×世論地図3970人UMAP×dbscan×高次元泥団子×集団極性化×匿名の市民の意見ベクトルはそんなに明瞭に別れてない×UMAPの結果をクラスタリングするべきか×tSNEの結果のクラスタリングは慎重に×賛成反対データのUMAP×シン東京2050ブロードリスニング×テキスト埋め込みベクトルの分布×text-embedding-3-large×小さな粒のある一つの塊×クラスタリングとパーティショニング×k平均法×クラスタリング×spectralclusteringとhdbscanの違い×日テレnews×2024衆院選×ブロードリスニング×aiによるクラスタ解説×濃いクラスタ抽出×ptttc2024-11-12×外れ値×まずは大雑把に×全体像を把握したい×talk_to_the_city_turbo×tttc:_aiと著作権に関するパブリックコメント×Talk to the City勉強会×kj法×発想法×川喜田二郎×凝集型階層的クラスタリング×離れザル×側面×word2vecによる自然言語処理×概念の類似度は距離ではない×50枚のkj法は10時間の想定×5年間で129枚しかkj法をしていない→
- →UTAS-UMAP×東京大学谷口研究室・朝日新聞社共同調査×utas×UMAP×ppolis2024-05-27×ppolis×aiクラスタ解説×ブラックボックスと掘り下げ×polis的分析×fisherの正確確率検定×2024-10-31の図×2022年参院選のUMAP可視化→
- →plurality_tokyo_namerakaigi×サイボウズラボ勉強会×pol.is×community_notes×メカニズムデザイン勉強会×majority_judgement勉強会×PluralityとPolis勉強会×polis勉強会×quadratic_votingとplural_management勉強会×Talk to the City勉強会×世論地図勉強会×高次元データ分析勉強会×デジタル民主主義研究ユニット×ピボット×古典期アテネの民主主義のスケール×国民こそが唯一の正統な権威である×フランス革命×フランスでの女性参政権×一人一票×未成年者には投票権がない×成年被後見人の選挙権×ドメイン投票方式×デメニー投票×デーメニ投票×quadratic_voting×glen_weyl×qv×radical_markets×audrey_tang×vitalik_buterin×quadratic_funding×audrey_tangのqv×glen_weylのqv×quadratic_votingがシナジーの発見に有用×台湾総統杯ハッカソン×qvは投票しないことに意味のあるメカニズム×「投票しないことは良くないことだ」は根拠のない思い込み×vitalik_buterinらのquadratic_funding×a_flexible_design_for_funding_public_goods×akb48総選挙×gitcoin×gitcoin_grants×公共財×リソースの再分配×社会的意思決定×メカニズムデザイン×多数決×くじ引き×抽選制×抽籤制×プラトン×アリストテレス×ジェームズ・マディソン×ジョン・スチュアート・ミル×アレクシ・ド・トクヴィル×選挙は4年に一度5bit送信する遅い通信だ×ブロードリスニング×Polis×pol.isでのuberの議論×metaがファクトチェックを廃止×community_notesにおける行列分解を用いた信頼度スコアリング×多様な主体から支持されることを評価する仕組み×Talk to the City×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×UMAP×世論地図×mielka×2024衆院選×japan_choice×meta-polisの構想×mashbean×協力の深さと広さのトレードオフ×plurality本×aiあんの×タウンミーティング×非同期化×空間と時間の制限から解き放つ×chatgptとaiあんののコミュニケーションの形の違い×ai政治家の3つのレベル×aiが間に入って非同期化×open_space_technology×アジェンダ設定の権限を人々に開放する×vitalik×主観主義×3つのイデオロギーの間に2つの対立軸がある×aiが仲介するコミュニケーション×bluemo×intersubjective_model_of_ai-mediated_communication:_augmenting_human-human_text_chat_through_llm-based_adaptive_agent_pair×時間の制約×心理的安全性×緩やかに繋ぐ×デジタル民主主義2030×同じ時間と場所を共有できない人に機会を用意×metapolis×スケーラビリティ×デジタル民主主義×コミュニティ×大規模コラボレーション×xy問題×熟議のための4つのステップ×リプライはスケールしない×リプライさせない×your_priorities×コトノハ→
- →pol.is×意見分布の可視化×fisherの正確検定×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×polis体験レポート:テロの原因究明をするか×polis体験レポート:同性婚を合法化すべきか×感情収集プラットフォーム×sentiment_gathering×sentiment_gathering_platform×理解されたいという欲求×西尾の体験_on_plurality_tokyo×PCA×UMAP×k-means×leiden_graph_based_community_detection×hierarchical_clustering×短文×polisをもっとやりたい→
- →Polis×PCA×Talk to the City×UMAP×tttc的クラスタ説明生成×地図×データの多いpolisは半分こになりがち×イデオロギー・ベクトルの可視化×11万人の意見クラスター分析→
- →サイボウズラボ勉強会×plurality_tokyo×plurality×ブロードリスニング×Polis×PluralityとPolis勉強会×polis勉強会×plurality_seoul×audrey_tang×gisele_chou×Talk to the City×ai_objectives_institute×deger_turan×aiと著作権に関するパブリックコメント×安野たかひろ氏が東京都知事選に出馬へ×マイナンバーカード×直接投票×オープンソース×デジタル公共財×人間増強×知的生産性の向上×都知事選でtalk_to_the_cityをする×tokyoai×主観か客観かではなく、一人の主観から大勢の主観へ×シビックテックによる、社会と民主主義のアップデート×手書きの図×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis体験レポート:同性婚を合法化すべきか×台湾の同性婚は親族にならない×vtaiwan×オープンガバメント×デジタル民主主義×透明性×参加型民主主義×アジェンダ設定の権限を人々に開放する×モデレーション×polisのモデレーション×aoiのtttcページにaudrey_tangのコメントがある×集団的議論×集団的意思決定×peter_eckersley×electronic_frontier_foundation×let's_encrypt×certbot×privacy_badger×brittney_gallagher×talk_to_the_cityでplurality本の内容を可視化×bertopic×BERTopic: Neural topic modeling with a class-based TF-IDF×UMAP×hdbscan×mashbean×初探_polis_2.0：邁向關鍵評論網絡×熟議×レジリエンス×双方向的マスコミュニケーション×国民ラジオ×一方向的マスコミュニケーション×聞く姿勢×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×雪玉×polis_2.0×発想法×川喜田二郎×kj法×凝集型階層的クラスタリング×u理論→
- →bertopic×topic_model×class-based_tf-idf×クラスベースtf-idf×UMAP×hdbscan×ctm×vae×countvectorizer×トピックのクラスタリング→
- →plurality×Polis×サイボウズラボ勉強会×階層組織×llmがもたらす組織構造の変化×ダンバー数×国民ラジオ×松下幸之助×サイロ化×llm×audrey_tang×ブロードリスニング×人間の増強×知識社会は上司と部下の社会ではない×階層的な組織よりも水平的な組織の方が容易になる×統治構造×選挙は4年に一度5bit送信する遅い通信だ×vtaiwan×チームワークあふれる社会を創る×技術は中立×善用×悪用×パノプティコン×監視×社会信用システム×フェイクニュース×画像認識×雨傘運動×シンギュラリティ×broad_listening×decentralized_id×quadratic_funding×retroactive_funding×ソーシャルインパクトボンド×quadratic_voting×decentralized_identifiers×gitcoin_passport×worldcoin×web3はオワコン×終わったように見えるのは流行の上振れしか見えてないから×共感×異文化理解力×意思決定×合意形成×空気が支配する日本ではブロードリスニングが重要×human_augmentation×when_we_hear_“the_singularity_is_near”,_let_us_remember:_the_plurality_is_here×roulette_wheel_selection×t-sne×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×都市国家×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×紙と箱による民主主義×デジタル投票×アジェンダ設定の権限を人々に開放する×シルバー民主主義×一人一票×論点のブレインストーミング→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]