広聴AIと濃いクラスタ抽出
2025-04-23
Slackに書いたものをメモ
「濃いクラスタ抽出」が最初に作られてGovTech Tokyoに提案された時の資料を共有しておきます。
今の「細分化したk-meansをしてから密度でフィルタリング」という流れはHDBSCANを試した後に作られた近似的な手法です。
一方でHDBSCANを今の「細分化したk-meansをしてから階層クラスタリング」と別にやるなら10000件程度の入力で追加で10分程度掛かることになり、それを許容できるかどうかというところが広聴AIが作られるときに議論になりました。
近似的手法ならプロセスの大部分を共通化できて追加コストなく「濃いクラスタ抽出」を実現できる、ということで、まずはその方針でやろうということになりました。
この意思決定の背後には、当時まだ(今もだけど)「結果の良さ」を定量的に比較する方法がなく、HDBSCANで作られた「濃いクラスタ」がk-meansで作られたそれより「よい」のかどうか判断がつかなかったことがあります。
良いかどうか判断つかないものに追加の処理コスト10分を支払うわけにはいかないよね、という感じです。
memo
広聴AIは"濃いクラスタ抽出"って名前から変えた気がする
2025-11-27
UMAPで2次元にした後のk-meansはやっぱ良くないのではという気配が濃厚になってきた気持ち
Related Pages
- →デジタル民主主義×広聴AI×大規模熟議支援システム『いどばた』×安野たかひろ×チームみらい×安野貴博氏に聞く！デジタル民主主義×平デジタル大臣、安野さんについて語る×デジタル民主主義２０３０×digital_democracy_2030→
- →インターネットと電気があり焚き火ができる施設×aiチャットログから有用な情報だけ保存×自然人村（東京・あきる野市）×青野原_野呂ロッジキャンプ場×プロジェクト個別ログページからプロジェクトページにリンクする×プロジェクトの片付け×政策プルリク活用プロジェクト×dd2030_slack×広聴AI×インタビューaiグランプリ2025-12-02×2025年のブロードリスニング×code_for_japan_summit_2025×p-mem/vt2025-11-22×脱線×日記2025-12-01×日記2025-12-03×日記2025-08-24×日記2024-12-02→
- →選挙は4年に一度5bit送信する遅い通信だ×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×if文から機械学習への道×どんどん複雑な条件分岐になっていく×cultural_preferences_for_formal_versus_intuitive_reasoning×教師あり学習×ロジスティック回帰×決定木×家族的類似性×東洋人はロジスティック回帰で西洋人は決定木×ルールベースパラダイムが重み付き和パラダイムに負けたエポック×vibe_coding×一部が消えて一部残り新しく生まれる×captcha×人間でないユーザ×認知戦×輿論戦×法は社会のos×九電玄海原発、ドローン侵入か×ウクライナ向け「ストライクキット」3.3万台供給×共有地の悲劇×ossで共有地の悲劇が起こることにどう対処するか×大きな政府と小さな政府×「大きな政府/小さな政府」は誤った二項対立×オストロム×公共財×共有資源×cpr×common-pool_resource×connections_between_indivisuals_as_first-class_objects×intersecting_group×新しいものは登場前にその価値を見積もることができない×ブロードリスニング×ai_objectives_institute×Talk to the City×デジタル民主主義2030×広聴AI×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×日本維新の会のブロードリスニング事例×polis×既存のsnsは個人に注目させるが、polisは個人ではなく集団に注目させる×citizens_foundation×your_priorities×リプライさせない仕組み×別席調停×左派がよい主張をしているなら、右派がやるべきことは同じくらいよい主張であり、戦うことではありません×いどばたシステム×bitcoinはお金、ethereumはコンピュータ×中央集権の3つの軸×polymarket×1人1票×quadratic_voting×quadratic_funding×vitalik_buterin×gitcoin_grants×retroactive_public_goods_funding×futarchy×an_introduction_to_futarchy×幅がある→
- →インタビューaiグランプリ×広聴AI×チームみらい2025参院選「しゃべれるマニフェスト」オープンデータ×チームみらいの社会実験「しゃべれるマニフェスト」から得られた知見×しゃべれるマニフェスト×チームみらいクラスタ密度ソート×チームみらい階層的クラスタリング×星さんのprでの議論のpolis×colin_megill×チームみらい問題意識の広聴ai×いどばた政策→
- →11/18（火）×2024年振り返り×世論地図2024振り返り×世論地図×Talk to the City×ブロードリスニング×しゃべれるマニフェスト×チームみらい2025参院選「しゃべれるマニフェスト」オープンデータ×チームみらいの社会実験「しゃべれるマニフェスト」から得られた知見×devinを見る会×scott_wu来日×devin使ってみてどうだった？_～活用事例と導入時のポイント～×llmを使いこなすエンジニアの知的生産術(講演資料)×未踏ジュニア×一般社団法人未踏の理事を退任しました×広聴AI×jigsaw_sensemaker×tttc勉強会×advanced_voice×aipm2025-03-11×日記2025-04-05→
- →ai_objectives_institute×bertopic×HDBSCAN×umap×aiと著作権に関するパブリックコメント×国連igf京都大会×東京都知事選挙2024×安野たかひろ×日テレnews×2024衆院選×ブロードリスニング×peter_eckersley×ブロードリスニング×polis_2.0→
- →サイボウズラボ勉強会×jigsaw_sensemaker×tttc勉強会×jigsaw_sensemaker×ボーリンググリーン×星さんのprでの議論のpolis×polis型データ×talk_to_the_city_turbo×tttc-light-js×whose_opinions_do_language_models_reflect?×プロンプトはllmに作らせるほうがいい×チャットから知見を引き出すシステム×talk_to_the_city_scatter×plurality本の概念マップ×どこから来たのかのトレーサビリティ×しゃべれるマニフェスト×いどばたビジョン×cartographer×トップダウンの分類×AIでKJ法2024-12-19×kj法×かならず小分けから大分けに進まなければならない×発想法×周辺的な主張×取りこぼし×ごちゃごちゃした少数意見は捨てたほうがいい×オフトピック×わかりやすいレポート作成×創発的なプロセス×既存の枠×霞ヶ関のポンチ絵×みんなの意見を聞いてます感の演出×文書作成過程で生成された不用知の収集と活用可能性の検証×境界をまたぐ×既存のグループを跨ぐ関係性×kj法勉強会振り返り勉強会×sensemaker×広聴AI×kozaneba×psensemaker2025-10-17×psensemaker2025-10-21×高次元空間でクラスタリングしてからumap×クラスタ解説の埋め込みベクトルをconcatしてUMAP→
- →Jigsaw Sensemakerとtttc-light-js勉強会×分布を観察して気づくこと×d-agreeシステム×common_ground×uncommon_ground×意見の相違点×分断の可視化×polis型データ×ブロードリスニングの4つのデータ型×突きつけるブロードリスニング×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×みらいaiインタビュー×cartographer×いどばたビジョン×Cartographerやfarbrainが改善するもの×farbrain×広聴AI×farbrainは広聴aiのリアルタイム化×協力の深さと広さのトレードオフ2025-11-01×広く集めたいのか多様な意見を集めたいのか→
- →広聴AI×抽出された知見×大量のオブジェクト×主観的興味深さ×今持っている知識の一歩先の知識しか受け止められない×ガウス過程回帰×利用と探索のトレードオフ×興味深さ×主観×cartographer×多様性ペナルティ×maximal_marginal_relevance×upper_confidence_bound×random_kitchen_sinks→
- →dd2030_slack×広聴AI×既知のものの除去を人間がやるべきではない×既存の概念とぶつける×既存のカテゴリーの隙間に落ちてるボール×年老いた組織×もう知ってる×組織を変えるオペレーション×認知コストの削減×自分の知識の境界をaiにインプットする必要がある→
- →意見のトレーサビリティ×広聴AI×両方向のトレーサビリティが必要×どこから来たのかのトレーサビリティ×どこへ行ったのかのトレーサビリティ×トレーサビリティ×双方向トレーサビリティ×双方向参照関係×意見の反映経路×寄与の可視化×根拠と接続→
- →日記2025-10-02×もっとインサイトが取れる仕組み×広聴AI×いどばたシステム×自由記述のアンケート×文脈欠落×「n=1の意見を深掘りしたい」は「速い馬が欲しい」×ミミズとショートケーキのたとえ×羊のたとえ×新しく作る人×変革する人×壊す人×シリアルアントレプレナー×存続することが目的化する×機能しなくなったものは破棄しなければならない×現状維持バイアス→
- →サイボウズラボ勉強会×世論地図勉強会×2024衆院選×世論地図×世論地図のumap×濃い塊の抽出×カール・ピアソン×karl_pearson×多次元尺度構成法×主座標分析×自己組織化マップ×som×self-organizing_maps×カーネル法×再生核ヒルベルト空間×サポートベクターマシン×isomap×isometric_mapping×lle×locally_linear_embedding×対立次元×pca×umap×2022年参院選のumap可視化×polisクラスタ2つになる問題×東京大学谷口研究室・朝日新聞社共同調査×2022年参院選のpolis的可視化×convex_hull×code_for_japan_summit_2024×世論地図3970人umap×DBSCAN×高次元泥団子×集団極性化×匿名の市民の意見ベクトルはそんなに明瞭に別れてない×umapの結果をクラスタリングするべきか×tsneの結果のクラスタリングは慎重に×賛成反対データのUMAP×シン東京2050ブロードリスニング×テキスト埋め込みベクトルの分布×text-embedding-3-large×小さな粒のある一つの塊×クラスタリングとパーティショニング×k平均法×クラスタリング×SpectralClusteringとHDBSCANの違い×日テレnews×2024衆院選×ブロードリスニング×aiによるクラスタ解説×濃いクラスタ抽出×ptttc2024-11-12×外れ値×まずは大雑把に×全体像を把握したい×talk_to_the_city_turbo×tttc:_aiと著作権に関するパブリックコメント×Talk to the City勉強会×kj法×発想法×川喜田二郎×凝集型階層的クラスタリング×離れザル×側面×word2vecによる自然言語処理×概念の類似度は距離ではない×50枚のkj法は10時間の想定×5年間で129枚しかkj法をしていない→
- →ボイスチェンジャー×浮いてる葉っぱをすくってどける×ストレッチ×骨盤×中臀筋×内転筋×菱形筋×合宿×ラボ発表会7/16×選挙は期間限定のゼロサムゲーム×polimoneyに注釈機能をつける×広聴AI×散髪×luup×stfuawsc×japan_dashboard×左派がよい主張をしているなら、右派がやるべきことは同じくらいよい主張であり、戦うことではありません×死票リスク×日記2025-07-10×日記2025-07-12×日記2025-04-02×日記2024-07-11→
- →広聴AI×社会を人間による計算として考える×書いた方がいい記事×日記2025-07-04×pr活用を支える技術(資料)×thankyou-helper×ショート動画メーカー2×世界の成長から取り残されると困る人×デジタル大乗仏教×大乗仏教×雑な二分法×チームみらい×分断を減らす×ショート動画×日記2025-07-09×日記2025-07-11×日記2025-04-01×日記2024-07-10→
- →pluralityとサイボウズ(2023)×ブロードリスニング×都知事選2024×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×デジタル民主主義2030×広聴AI×いどばたシステム×aiの進歩とplurality×plurality本発売×tokyo_plurality_week_2025×チームみらい×デジタル民主主義2030、新ボード体制のお知らせ×チームみらいのソフトウェア開発の4割はai×pluralityとは×singularityでいいのか？×効率と包摂のトレードオフ×100人100通りの働き方×サイボウズの自由すぎる働き方はこんなやり方で管理されていた×メディアとしてのグループウェア×anti-social_media×pro-social_media×政治的対立×polis×polis体験レポート:テロの原因究明をするか×kintone×みらいいどばた会議×デジタル民主主義×代表制民主主義×ヒエラルキー×ティール組織×組織統治メカニズム×ブロードリスニングが1年で標準戦略に×日記2025-07-16→
- →未踏ジュニア×plurality_tokyo_2023×ブロードリスニング×主観か客観かではなく、一人の主観から大勢の主観へ×激動の2024年5月下旬×tttc:_aiと著作権に関するパブリックコメント×funding_the_commons_tokyo_2024×ftc2024安野+audrey×plurality_in_japan×日テレnews×2024衆院選×ブロードリスニング×シン東京2050ブロードリスニング×デジタル民主主義2030×広聴AI×Talk to the City と広聴AIの歴史×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×りっけんai井戸端会議×再生の道ブロードリスニング×ブロードリスニングが1年で標準戦略に×plurality本×協力の深さと広さのトレードオフ×偽情報×audreyとd/accとdifferential×民主主義は社会的技術×qarasu-14bに質問をする×reasoningモデル×無意識データ民主主義×未成年者には投票権がない×台湾のjoinで高校生の提案が制度改善につながった×親ソーシャルメディア×橋渡しする意見×ブリッジングボーナス×灘校土曜講座→
- →週記2025-04-15~2025-04-26×pnp×pbt×v-1グランプリ×bluemoさんにサイボウズでいどばたイベントをしてもらう企画×social_hack_day_#70×scott_wu_youtube_japan_2025-04-22×安野たかひろ参院選出馬検討×デジタル民主主義2030×広聴AI×tokoroten→
- →なめら会議×plurality_tokyo×デジタル民主主義研究ユニット×funding_the_commons_tokyo_2024×デジタル民主主義をスケールさせるには？×デジタル民主主義2030×安野貴博×tkgshnの鈴木健批判と和解×気流舎×plurality_tokyo_salon_2023-10-06×ハンナ・アーレント×安野チーム台湾報告会×llms_and_public_discourse×plurality_institute×democratization_of_ai_and_social_implementation_using_web3@ftctokyo×tackling_east_asia’s_population_decline_issues_with_local_coop’s_subsystem_for_local_governance×rightscon×シン東京2050×2050東京戦略×unconference×構想日本×濃いクラスタ抽出×投票の選択肢を決めるのの手前に議論が必要×heal_michigan×ヘキサコ×the_dark_triad×自分ごと化会議×pluralityは無色の新語として作られた×ほづみゆうき×kleros×プリンシパルエージェント問題×ダロン・アセモグル×武器としての交渉思考×ビクトリア朝のインターネット×plurality_tokyo_2025-02-25→
- →llmはもれなくやるのが苦手×aiにkj法を教える×tttc:_aiと著作権に関するパブリックコメント×anno-broadlistening×濃いクラスタ抽出×dense-cluster-extruction→
- →週記2024-11-23~2024-12-01×2024-11-28取材×シン東京2050ブロードリスニング×テキスト形式データからのブロードリスニング×aiにkj法を教える×talk_to_the_cityの抽出ステップについて×濃いクラスタ抽出×安野miro実験2024-11-29×メタバースでのアイデンティティ×cosense英訳のホスティング2024-11-24×高次元データ分析勉強会×2022年参院選のpolis的可視化×utas-umap→
- →テキスト形式データからのブロードリスニング×HDBSCAN×aiにkj法を教える×グループ編成×意外性判定×表札作り×離れ猿×連想的雰囲気×当たり判定拡大×連想接続×新しい視点×濃い意見×意外な切り口→
- →サイボウズラボ勉強会×plurality_tokyo×plurality×ブロードリスニング×polis×pluralityとpolis勉強会×polis勉強会×plurality_seoul×audrey_tang×gisele_chou×Talk to the City×ai_objectives_institute×deger_turan×aiと著作権に関するパブリックコメント×安野たかひろ氏が東京都知事選に出馬へ×マイナンバーカード×直接投票×オープンソース×デジタル公共財×人間増強×知的生産性の向上×都知事選でtalk_to_the_cityをする×tokyoai×主観か客観かではなく、一人の主観から大勢の主観へ×シビックテックによる、社会と民主主義のアップデート×手書きの図×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis体験レポート:同性婚を合法化すべきか×台湾の同性婚は親族にならない×vtaiwan×オープンガバメント×デジタル民主主義×透明性×参加型民主主義×アジェンダ設定の権限を人々に開放する×モデレーション×polisのモデレーション×aoiのtttcページにaudrey_tangのコメントがある×集団的議論×集団的意思決定×peter_eckersley×electronic_frontier_foundation×let's_encrypt×certbot×privacy_badger×brittney_gallagher×talk_to_the_cityでplurality本の内容を可視化×bertopic×BERTopic: Neural topic modeling with a class-based TF-IDF×umap×HDBSCAN×mashbean×初探_polis_2.0：邁向關鍵評論網絡×熟議×レジリエンス×双方向的マスコミュニケーション×国民ラジオ×一方向的マスコミュニケーション×聞く姿勢×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×雪玉×polis_2.0×発想法×川喜田二郎×kj法×凝集型階層的クラスタリング×u理論→
- →bertopic×topic_model×class-based_tf-idf×クラスベースtf-idf×umap×HDBSCAN×ctm×vae×countvectorizer×トピックのクラスタリング→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]