NISHIO Hirokazu[Translate]
TTTCの「離れ小島クラスタ」問題
Talk to the Cityでこういうやたら飛んだところに変なクラスタができる現象についての考察

観測事実: 離れ小島クラスターにfewshotで与えた例がいくつも重複して出てしまっている。

推測:
うまく意見抽出できないインプットデータに対して [] ではなくfewshotの例を返してしまうことがある
多分UMAPの挙動として、ほとんど同じ内容のデータ点がたくさん重なると「密度が高いクラスタがある」と判断する
その結果、周辺の空間解像度が上がることによってこういう離れ小島の見た目になるのだと思う。

対策:
このままユーザに見せるとほとんどのユーザは「この離れ小島はなんだろう？」と反応して、真っ先に見ることになる
離れ小島は「LLMへの指示が適切でないことによって誤って抽出された意見データ」なので、意見の可視化としては取り除く方がいい
「うまく意見を抽出できないデータ」の影響なのでそのデータに対する対処をfewshotに加えてやる
具体的にはこのクラスタの点をクリックしてLLMへの入力データを確認し、抽出すべき意見のない発言なら [] 、そうでないならその意見を返答としてプロンプトのfewshotに加えて抽出フェーズからやり直し
クラスタ全部をやる必要はない、実感として1〜2件足すだけで解消する感じ
多分 [] をfewshotに追加することで「 [] にするかどうか」の境界線が移動するんだと思う

余談だけどそもそもextractionの直後でuniqueしてしまう方がいいんじゃないかな...

Related Pages

  • →11/18（火）×2024年振り返り×世論地図2024振り返り×世論地図×Talk to the City×ブロードリスニング×しゃべれるマニフェスト×チームみらい2025参院選「しゃべれるマニフェスト」オープンデータ×チームみらいの社会実験「しゃべれるマニフェスト」から得られた知見×devinを見る会×scott_wu来日×devin使ってみてどうだった？_～活用事例と導入時のポイント～×llmを使いこなすエンジニアの知的生産術(講演資料)×未踏ジュニア×一般社団法人未踏の理事を退任しました×広聴AI×jigsaw_sensemaker×tttc勉強会×advanced_voice×aipm2025-03-11×日記2025-04-05→
  • 2025振り返り
  • →主観か客観かではなく、一人の主観から大勢の主観へ×ブロードリスニング×情報の複製により情報発信は効率化されたが、受信は改善しない、情報を減らす技術が必要×要約技術×関_治之×シビックテックによる、社会と民主主義のアップデート×Polis×Talk to the City×andrew_trask×一人の人間が何百万人と対話することが可能になる×広範囲の傾聴×広聴×多聞×広範な傾聴×デジタル広聴×安野たかひろ氏が東京都知事選に出馬へ×glen_weyl×知的生産性×生身の人間×人間増強×plurality×broad_listening×deliberation×熟議×polisをもっとやりたい×多重視点×生煮えのトピック×切り口→
  • ブロードリスニング
  • →polis型×投票行列×vote_matrix×ボーリンググリーン×インタビュー型×デジタル民主主義2030×いどばたシステム×しゃべれるマニフェスト×チームみらいの社会実験「しゃべれるマニフェスト」から得られた知見×多数決×多数決を疑う×量的研究×質的研究×単語頻度分析×トピック抽出×Talk to the City×polis型データ×2022年参院選のpolis的可視化×オープンクエスチョンは答えにくい×一つのテキスト欄に過不足なく意見を整理して書くことが難しい×いどばたビジョン×みらいaiインタビュー×文法的クローズドクエスチョンを概念的に開く→
  • ブロードリスニングの4つのデータ型
  • →選挙は4年に一度5bit送信する遅い通信だ×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×if文から機械学習への道×どんどん複雑な条件分岐になっていく×教師あり学習×ロジスティック回帰×決定木×家族的類似性×東洋人はロジスティック回帰で西洋人は決定木×ルールベースパラダイムが重み付き和パラダイムに負けたエポック×vibe_coding×一部が消えて一部残り新しく生まれる×captcha×人間でないユーザ×認知戦×輿論戦×法は社会のos×九電玄海原発、ドローン侵入か×ウクライナ向け「ストライクキット」3.3万台供給×共有地の悲劇×ossで共有地の悲劇が起こることにどう対処するか×大きな政府と小さな政府×「大きな政府/小さな政府」は誤った二項対立×オストロム×公共財×共有資源×cpr×common-pool_resource×connections_between_indivisuals_as_first-class_objects×intersecting_group×新しいものは登場前にその価値を見積もることができない×ブロードリスニング×ai_objectives_institute×Talk to the City×デジタル民主主義2030×広聴AI×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×日本維新の会のブロードリスニング事例×Polis×既存のsnsは個人に注目させるが、polisは個人ではなく集団に注目させる×citizens_foundation×your_priorities×リプライさせない仕組み×別席調停×左派がよい主張をしているなら、右派がやるべきことは同じくらいよい主張であり、戦うことではありません×いどばたシステム×bitcoinはお金、ethereumはコンピュータ×中央集権の3つの軸×polymarket×1人1票×quadratic_voting×quadratic_funding×vitalik_buterin×gitcoin_grants×retroactive_public_goods_funding×futarchy×an_introduction_to_futarchy×幅がある→
  • 社会を人間による計算として考える
  • →サイボウズラボ勉強会×ブロードリスニングの「あの図」勉強会×ブロードリスニング×都知事選2024×Talk to the City×日テレnews×2024衆院選×ブロードリスニング×世論地図×plurality和訳×japan_choice×議員pedia×投票ナビ×政治参加×社会参加×じぶんごと×可視化×11万人の意見クラスター分析×Polis×aiによるクラスタ解説×mielka×結城_東輝×台湾デジタル発展省×mashbean×funding_the_commons_tokyo_2024×glen_weyl×glen+japanchoice×plurality×大きな物語×polis体験レポート:同性婚を合法化すべきか×polis勉強会×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×主成分分析×シルエット係数×fisherの正確確率検定×convex_hull×d3.js×モバイルファースト×majority_judgement×多数決×polis_2.0×AIクラスタ解説×会社さんはいない×2022年参院選のpolis的可視化×東京大学谷口研究室・朝日新聞社共同調査×公明正大→
  • 世論地図勉強会
  • →funding_the_commons_tokyo_2024×plurality_in_japan×ftctokyo!×ftctokyo×Talk to the City×audrey_tang×glen_weyl×plurality:_technology_for_collaborative_diversity_and_democracy×チームワークあふれる社会を創る×理想への共感×100人100通りの働き方×100人100通りの人事制度×デジタルツール×多様性×funding_the_commons×柄谷行人×交換様式論×デジタル民主主義×交換様式a×colors.js事件×beyond_public_and_private×安宅_和人×intersecting_group×21世紀のイデオロギー×統合テクノクラシー×企業リバタリアニズム×ブロードリスニング×主観か客観かではなく、一人の主観から大勢の主観へ×vtaiwan×Polis×メディアとしてのグループウェア×生産性向上ソフトウェア×ソーシャルメディア×一丸となって共通の目標を達成×変化に適応×プロソーシャルメディア×グループウェア×副業×複業×パラレルワーク×理解され、実行されるまでの時間を短縮する×アジェンダ設定の権限×参加型政策立案×参加型予算編成×majority_judgement×quadratic_voting×kj法の累積的効果×vtaiwanでuberに関する議論がどう進展したか×Meetup with Audrey & Glen×audrey+glen+halsk@cybozu×未来はすでにまだらに存在している×組織の境界×なめらか化×開門造車、你行你来×思惟経済説×plurality質疑@ftctokyo→
  • Plurality in Japan(日本語)
  • →plurality_tokyo_namerakaigi×サイボウズラボ勉強会×pol.is×community_notes×メカニズムデザイン勉強会×majority_judgement勉強会×pluralityとpolis勉強会×polis勉強会×quadratic_votingとplural_management勉強会×Talk to the City勉強会×世論地図勉強会×高次元データ分析勉強会×デジタル民主主義研究ユニット×ピボット×古典期アテネの民主主義のスケール×国民こそが唯一の正統な権威である×フランス革命×フランスでの女性参政権×一人一票×未成年者には投票権がない×成年被後見人の選挙権×ドメイン投票方式×デメニー投票×デーメニ投票×quadratic_voting×glen_weyl×qv×radical_markets×audrey_tang×vitalik_buterin×quadratic_funding×audrey_tangのqv×glen_weylのqv×quadratic_votingがシナジーの発見に有用×台湾総統杯ハッカソン×qvは投票しないことに意味のあるメカニズム×「投票しないことは良くないことだ」は根拠のない思い込み×vitalik_buterinらのquadratic_funding×a_flexible_design_for_funding_public_goods×akb48総選挙×gitcoin×gitcoin_grants×公共財×リソースの再分配×社会的意思決定×メカニズムデザイン×多数決×くじ引き×抽選制×抽籤制×プラトン×アリストテレス×ジェームズ・マディソン×ジョン・スチュアート・ミル×アレクシ・ド・トクヴィル×選挙は4年に一度5bit送信する遅い通信だ×ブロードリスニング×Polis×pol.isでのuberの議論×metaがファクトチェックを廃止×community_notesにおける行列分解を用いた信頼度スコアリング×多様な主体から支持されることを評価する仕組み×Talk to the City×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×UMAP×世論地図×mielka×2024衆院選×japan_choice×meta-polisの構想×mashbean×協力の深さと広さのトレードオフ×plurality本×aiあんの×タウンミーティング×非同期化×空間と時間の制限から解き放つ×chatgptとaiあんののコミュニケーションの形の違い×ai政治家の3つのレベル×aiが間に入って非同期化×open_space_technology×アジェンダ設定の権限を人々に開放する×vitalik×主観主義×3つのイデオロギーの間に2つの対立軸がある×aiが仲介するコミュニケーション×bluemo×intersubjective_model_of_ai-mediated_communication:_augmenting_human-human_text_chat_through_llm-based_adaptive_agent_pair×時間の制約×心理的安全性×緩やかに繋ぐ×デジタル民主主義2030×同じ時間と場所を共有できない人に機会を用意×metapolis×スケーラビリティ×デジタル民主主義×コミュニティ×大規模コラボレーション×xy問題×熟議のための4つのステップ×リプライはスケールしない×リプライさせない×your_priorities×コトノハ→
  • デジタル民主主義をスケールさせるには？
  • →安野_貴博×鈴木_健×東_浩紀×プルラリティ×ゲンロン250626×ised×デジタル民主主義2030×アメリカ大統領選2024ロードトリップ×ハンナ・アーレント×革命について×革命×自由の創設×タウン・ミーティング×評議会×natality×政府効率化省×doge×なめらかな社会とその敵×21世紀のイデオロギー×差異があるという意味において平等×協力の深さと広さのトレードオフ×pluralityとハイプカーブ×ハイプカーブ×community_notes×pol.is×pol.isでのuberの議論×quadratic_voting×quadratic_funding×Talk to the City×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×ハーバーガー税×joi_ito×創発民主制×weblog×草の根の民主主義×emergent_democracy×伊藤穣一×ブログ×rss×双方向メディア×下からの自己組織化×歴史は循環する、しかし内容はより高次のものとなる×似た物が昔にもあった型思考×テクノ封建制×civilization×東京大学pluralityセミナー2025-05-12×統合テクノクラシー×企業リバタリアニズム×デジタル民主主義×ブロードリスニングが1年で標準戦略に×ひまわり学生運動×radicalxchange×why_i_am_not_a_market_radical×plurality(2022)×pluralityは無色の新語として作られた×tokyo_plurality_week_2025×d/acc×マルクス主義×加速主義×柄谷行人×世界史の構造×マルクスその可能性の中心×探究_ⅰ×誤配×ルクレティウス×ずれ×すべてのものには裂け目がある。そこから光が差し込む×一般意志×全体主義×単一性×エロイーズ×訂正可能性×垂直的×単一的×カール・シュミット×カール・シュミットの「議会批判」と「独裁」論×コネクテッド・ソサイエティ×ダニエル・アレン×規範的plurality×アジェンダ設定の権限を人々に開放する×請願権×オンライン請願×james_s._fishkin×詐欺犯罪危害防制條例×mini-public×いどばた政策×stanford_online_deliberation_platform×forkability×正統性×自己主権型アイデンティティ×伊藤_孝行×安野チーム台湾報告会×audrey+glen+colin+pmt研究会×【オードリータン✖️小川淳也】未来を共創するデジタル民主主義×玉木雄一郎+Plurality×愚行権×audrey+tbs_cross_dig×裏ハイデガーとしてのアーレント×今北勢問題×訂正可能性の哲学×家族性×家族×動的な認知的膜×ホロン×クリプキのクワス算×truth_social×政治家は猫になる×社会資本が王である世界×アテンションエコノミー×贈与経済×台湾の同性婚は親族にならない×2ステップの熟議×アーレントのwork×ファンダム→
  • 安野貴博×鈴木健×東浩紀　プルラリティとはなにか
  • →pol.is×意見分布の可視化×fisherの正確検定×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×polis体験レポート:テロの原因究明をするか×polis体験レポート:同性婚を合法化すべきか×感情収集プラットフォーム×sentiment_gathering×sentiment_gathering_platform×理解されたいという欲求×西尾の体験_on_plurality_tokyo×pca×UMAP×k-means×leiden_graph_based_community_detection×hierarchical_clustering×短文×polisをもっとやりたい→
  • Polis
  • →サイボウズラボ勉強会×デジタル民主主義2030×join×市民参加型の政策形成プロセス×Talk to the City×東京都ai戦略いどばた会議×azure_blob_storage×azure_container_app×oss_weekly_reporter×o1_pro×gpt-4.5→
  • デジタル民主主義2030勉強会
  • →dena_techcon_2025×なぜそれが成り立つのか×コーディングを支える技術×プログラミング言語の背後にある設計思想×単なるスキル習得を超えた知的好奇心×エンジニアの知的生産術×自己改善へのこだわり×devin×技術の最前線に触れようとする姿勢×デジタル民主主義×ブロードリスニング×東京都知事選×安野たかひろ×Talk to the City×技術を社会に還元したい×plurality×社会的インパクト×デジタル公共資産基金×オープンソースの哲学×技術が公共財として機能する×サイボウズ・ラボ×一般社団法人未踏×報酬がゼロでも複業をやる×新しい学びや挑戦を優先するマインド×チームワーク×生産性向上×組織文化への貢献×外部脳×2日連続の登山×身体的な挑戦×知識共有に積極的×透明性×コミュニティへの貢献×よい方向性×民主主義のスケーラビリティ×mitou2024_demo_day×次世代のクリエイター支援→
  • Grokに西尾泰和を調べさせる
  • →対立は恐れずに活用すべきエネルギー×airbox×相互運用性とスーパーモジュラリティ×quadratic_votingがシナジーの発見に有用×参加者が多いほど良いシグナルが得られる×地元発のプロジェクトを全国インフラ化する×多様な意見の橋渡しの価値が高い×joinでの賛成反対2カラム表示×署名した人にメールを送り、オンライン会合に来る人を募る×台湾の詐欺防止法におけるデジタル署名×help_the_helpers×10代の若者によるオンライン請願×trustlessではなくtrust-building×抗議とデモの違い×公共財×スーパーモジュラリティ×組み合わせによる相乗効果×vtaiwan×join.gov.tw×デモ×解決策の提示×二次投票×quadratic_voting×デジタル署名×did/vc×pol.is×Talk to the City×橋渡しボーナス×橋渡し×トラストレス×ブロードバンドは人権→
  • Meetup with Audrey & Glen
  • →t-sne×laurens_van_der_maaten×UMAP×leland_mcinnes×ラベル数の動的変更→
  • Nomic
  • →11万人の意見クラスター分析×UMAP×one-hot表現×匿名の市民の意見ベクトルはそんなに明瞭に別れてない→
  • 11万人のUMAP
  • →pca×UMAP×ヒモ状のアーティファクト×変分ベイズ→
  • 対立次元
  • →scrapbox×西尾泰和のscrapbox×scrapbox→cosense名称変更×西尾泰和のcosense×ポインター×ハンドル×誤った二者択一×第三の選択肢×西尾泰和の外部脳×外部脳×クローズドソース×プロプライエタリ×私の著作物をすべてcc-0にしたい×mem.nhiro.org×Talk to the City×フラクタル要約×西尾泰和の落書き×非言語的シンボル×落書き×scrapbox期×外部脳期×これは何？(~2024-09-08)×これは何？×2024-09-08外部脳github作業→
  • 西尾泰和のScrapbox→西尾泰和の外部脳
  • →サイボウズ×plurality×funding_the_commons_tokyo×公共財としてのサイエンス×デジタル公共財×デジタル民主主義×オードリー・タン×グレン・ワイル×ブロードリスニング×多様な個性を重視する×異なる視点を持つ人々の協力×対話と議論×協力のための技術×シビックテック×code_for_japan×知的生産性×安野たかひろ×aiと人間の協調×統治形態×Talk to the City×aiによる統治×人間の意思決定×政治家は猫になる×22世紀の民主主義×21世紀のイデオロギー×broad_listening_in_practice×dig_dao×デジタル庁×web3.0×digdaoマッチングドネーション×quadratic_funding×代表制民主主義×市民参加×意思決定プロセス×納得感×社会的合意形成メカニズム×激動の2024年5月下旬×audrey+glen+halsk@cybozu×x_spaceの音声をダウンロードする→
  • サイボウズと語ろうPlurality 多元性の実践と期待
  • →polis2024年夏×デジタル民主主義×アジェンダ設定の権限を人々に開放する×Talk to the City×オープンデータ×polis準備:選挙ポスター×polis準備:_新しい民主主義×2024年夏polis祭り:インスタンスの準備×polis準備:自治体dxの情報システム共通化×polis準備:0歳投票権×polis準備:神宮外苑再開発→
  • 2024年夏Polis祭り
  • →tokyoai×高橋_直大×Talk to the City×安野たかひろ×東_浩紀×馬田_隆明×関_喜史×選挙活動dx×歴史の転換点×ひまわり学生運動×アラブの春×audrey_tang×大前提として劣化する×テクノロジーと民主主義の対立×良質な情報を持っていると予言の成功率が高まる×他人が価値を見出す前にポジションを取れ×デジタル民主主義×オモイカネ勉強会×日記2024-06-23×日記2024-06-25×日記2024-03-16×日記2023-06-24→
  • 日記2024-06-24
  • →サイボウズラボ勉強会×plurality_tokyo×plurality×ブロードリスニング×Polis×pluralityとpolis勉強会×polis勉強会×plurality_seoul×audrey_tang×gisele_chou×Talk to the City×ai_objectives_institute×deger_turan×aiと著作権に関するパブリックコメント×安野たかひろ氏が東京都知事選に出馬へ×マイナンバーカード×直接投票×オープンソース×デジタル公共財×人間増強×知的生産性の向上×都知事選でTalk to the Cityをする×tokyoai×主観か客観かではなく、一人の主観から大勢の主観へ×シビックテックによる、社会と民主主義のアップデート×手書きの図×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis体験レポート:同性婚を合法化すべきか×台湾の同性婚は親族にならない×vtaiwan×オープンガバメント×デジタル民主主義×透明性×参加型民主主義×アジェンダ設定の権限を人々に開放する×モデレーション×polisのモデレーション×AOIのTTTCページにAudrey Tangのコメントがある×集団的議論×集団的意思決定×peter_eckersley×electronic_frontier_foundation×let's_encrypt×certbot×privacy_badger×brittney_gallagher×Talk to the CityでPlurality本の内容を可視化×bertopic×BERTopic: Neural topic modeling with a class-based TF-IDF×UMAP×hdbscan×mashbean×初探_polis_2.0：邁向關鍵評論網絡×熟議×レジリエンス×双方向的マスコミュニケーション×国民ラジオ×一方向的マスコミュニケーション×聞く姿勢×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×雪玉×polis_2.0×発想法×川喜田二郎×kj法×凝集型階層的クラスタリング×u理論→
  • Talk to the City勉強会
  • →Talk to the City×Polis×mashbean×plurality×100分de名著_ローティ『偶然性・アイロニー・連帯』×日記2024-02-07×日記2024-02-09×日記2023-10-31×日記2023-02-08→
  • 日記2024-02-08
  • →渾沌をして語らしめる×学びて時にこれを習う×學而時習之、不亦説乎×探検の五原則×問題提起ラウンド×状況把握ラウンド×本質追求ラウンド×語るkj法図解×クラスタとの会話×Talk to the City×植え替えノート×移植×時の試練×kozaneba読書→
  • Kozanebaを累積KJ法に近づける
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]