BERTで区分け
文章をBERTでベクトルに変換する
ベクトルの各要素について正であるか負であるかで1bitの情報にする
なるべく半々に分かれる順に要素を選んでいく
CART的発想
分解がGini係数をなるべく減らさないように要素を選ぶ
今回はN=4000ぐらいなので、12bit選べば1バケットあたり1個になる
16進法表記で3文字の「カテゴリーコード」になる
代表点の位置を取っておく必要がある
面倒なのでとりあえず先頭12次元で試す
Related Pages
- →選挙は4年に一度5bit送信する遅い通信だ×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×if文から機械学習への道×どんどん複雑な条件分岐になっていく×教師あり学習×ロジスティック回帰×決定木×家族的類似性×東洋人はロジスティック回帰で西洋人は決定木×ルールベースパラダイムが重み付き和パラダイムに負けたエポック×vibe_coding×一部が消えて一部残り新しく生まれる×captcha×人間でないユーザ×認知戦×輿論戦×法は社会のos×九電玄海原発、ドローン侵入か×ウクライナ向け「ストライクキット」3.3万台供給×共有地の悲劇×ossで共有地の悲劇が起こることにどう対処するか×大きな政府と小さな政府×「大きな政府/小さな政府」は誤った二項対立×オストロム×公共財×共有資源×cpr×common-pool_resource×connections_between_indivisuals_as_first-class_objects×intersecting_group×新しいものは登場前にその価値を見積もることができない×ブロードリスニング×ai_objectives_institute×talk_to_the_city×デジタル民主主義2030×広聴ai×ブロードリスニングが国会で野党が総理大臣に質問するために使われた事例×日本維新の会のブロードリスニング事例×polis×既存のsnsは個人に注目させるが、polisは個人ではなく集団に注目させる×citizens_foundation×your_priorities×リプライさせない仕組み×別席調停×左派がよい主張をしているなら、右派がやるべきことは同じくらいよい主張であり、戦うことではありません×いどばたシステム×bitcoinはお金、ethereumはコンピュータ×中央集権の3つの軸×polymarket×1人1票×quadratic_voting×quadratic_funding×vitalik_buterin×gitcoin_grants×retroactive_public_goods_funding×futarchy×an_introduction_to_futarchy×幅がある→
- →サイボウズラボ勉強会×世論地図勉強会×2024衆院選×世論地図×世論地図のumap×濃い塊の抽出×カール・ピアソン×karl_pearson×多次元尺度構成法×主座標分析×自己組織化マップ×som×self-organizing_maps×カーネル法×再生核ヒルベルト空間×サポートベクターマシン×isomap×isometric_mapping×lle×locally_linear_embedding×対立次元×pca×umap×2022年参院選のumap可視化×polisクラスタ2つになる問題×東京大学谷口研究室・朝日新聞社共同調査×2022年参院選のpolis的可視化×convex_hull×code_for_japan_summit_2024×世論地図3970人umap×dbscan×高次元泥団子×集団極性化×匿名の市民の意見ベクトルはそんなに明瞭に別れてない×umapの結果をクラスタリングするべきか×tsneの結果のクラスタリングは慎重に×賛成反対データのumap×シン東京2050ブロードリスニング×テキスト埋め込みベクトルの分布×text-embedding-3-large×小さな粒のある一つの塊×クラスタリングとパーティショニング×k平均法×クラスタリング×spectralclusteringとhdbscanの違い×日テレnews×2024衆院選×ブロードリスニング×aiによるクラスタ解説×濃いクラスタ抽出×ptttc2024-11-12×外れ値×まずは大雑把に×全体像を把握したい×talk_to_the_city_turbo×tttc:_aiと著作権に関するパブリックコメント×talk_to_the_city勉強会×kj法×発想法×川喜田二郎×凝集型階層的クラスタリング×離れザル×側面×word2vecによる自然言語処理×概念の類似度は距離ではない×50枚のkj法は10時間の想定×5年間で129枚しかkj法をしていない→
- →hnsw×Hierarchical Navigable Small World Graph×skip_list×スキップリスト×スキップグラフ×lsh×navigable_small_world×approximate_nearest_neighbor_search_small_world_approach×qdrant×pinecore×ベクトル検索×階層的×スモールワールド→
- →サイボウズラボ勉強会×pluralityとpolis勉強会×plurality×polis×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×ec2でpolis×polisのdbからデータをエクスポート×民主的プロセス×投票×多数決×デジタル民主主義×デジタル投票×意思決定×熟議×透明な意思決定プロセス×熟議民主主義×democratic_inputs_to_ai×anthropic×the_computational_democracy_project×opportunities_and_risks_of_llms_for_scalable_deliberation_with_polis×雨傘運動×データ大使館×government_as_a_service×領土を必要としない国家×エストニアで電子投票による票数が過半数になった×ethereum×世界コンピュータ×台湾デジタル発展省が分散型idの標準化に参与×シルバー民主主義×ドメイン投票方式×余命投票制度×一人一票×紙と箱の投票×ヤシノミ作戦×落選運動×技術的実力行使×代議制×sentiment_gathering_platform×センチメント×感情×納得×人には個人差がある×一つの方法で全員のニーズを満たすことはできない×polis体験レポート:同性婚を合法化すべきか×関係ない設問が多すぎる×後から関係が見出される×離れ猿×投票行列×主成分分析×k平均法×シルエット係数×ベータ分布×ベルヌーイ分布×共役事前分布×ベイズ推定×fisherの正確確率検定×超幾何関数×コンセンサス×拒否権×コトノハ×magiシステム×対立×台湾のタイムゾーンを変えるかどうかの議論の事例×オードリー・タンが語るデジタル民主主義→
- →強化学習×機械学習勉強会×谷口忠大×椹木哲夫×双シェマモデル×自律エージェントの為の自己組織化機械学習手法の提案×piaget×シェマ理論×schema×スキーマ×シェマの均衡化×k平均法×クラスタ_=_シェマ×シェマの分化×身体と環境の相互作用を通した記号創発×環境との相互作用×身体と環境の相互作用×記号創発×知覚シェマ×行為シェマ×意図×記憶容量の有限性×主観的誤差×知覚シェマ活性度×距離情報からカテゴリ化を行うことの問題×汎化行為概念の適応的獲得×作られるシェマの量と身体能力の関係×人間はベクトル演算が弱い×身体能力の高いロボットは言語を作る必要がない×身体性×選好注視法×報酬×生まれつきの好み×自然淘汰による最適化→
- →ルートヴィヒ・ウィトゲンシュタイン×哲学探究×family_resemblance×木を見る西洋人_森を見る東洋人×決定木×ロジスティック回帰×東洋人はロジスティック回帰で西洋人は決定木×対立は一つだけではない×パンダ、サル、バナナ、仲間はどれ？→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]