何でも微分する
ので勾配法で解けない
しかしうまい正則化項を入れればできる
シンクホーンアルゴリズムで計算できる
しかも自動微分できる
のでNNなどの他の自動微分系のアルゴリズムと組み合わせられる
正解率の最適化
正解率はステップ関数が入るので微分できない
ので慣習的にクロスエントロピーが使われてきた
しかし「既に正解している問題」にも更新インセンティブが発生してしまう
さまざまな過程を微分可能にできる
end-to-end最適化に入れられる
連絡先: @joisino_ (Twitter) / https://joisino.net/
Related Pages
- →日記2025-02-17×singularityではなくpluralityという未来×plurality×シンギュラリティ×kiite_world×ランキング×アテンション×視聴体験の多様性×多様性×連想のネットワーク×集めて接続×新しい公衆×行政と民間が協働で“新しい公”を創る。govtech東京が描く、新たな社会とは｜govtech東京公式note×空気抵抗×技術的特異点×終端速度×d/acc×2025-02-16サンデージャポン→
- →bridging_systems:_open_problems_for_countering_destructive_divisiveness_across_ranking,_recommenders,_and_governance×aviv_ovadya×luke_thorburn×ovadya_&_thorburn_(2023)×bridging×建設的な対立×productive_conflict×attention_allocation×kiite_world×ランキング×ロングテールなアテンション×diverse_approval×proof_of_human×sybilrank×yourview×polis×birdwatch→
- →なめら会議×semantic_knowledge_base×napier_protocol×pixelaw×algocracy×ブロックチェーントリレンマ×敵と味方をなめらかにする×なめらかな社会とその敵×見慣れないものをちゃんと見ずに攻撃する×技術は人々の相互作用の方法を変えるので民主主義もそれに合わせて変わる必要がある×picsy×qv×自由エネルギー最小化×記号創発×谷口忠大×作られるシェマの量と身体能力の関係×ノートクローゼット×memex×複数の視点に支えられた判断×概念の類似度は距離ではない×hnsw×curveファイナンス×金利スワップ×crvトークンが分配の意思決定の投票権になる×crvトークン×バブル×curve_war×オーストリア学派×触ってみることでしか得られない知識×yield_tokenization×キャズム×ポンジ×axie×stepn×dark_forest×opcraft×zksnarks×結城_東輝×正当性×正統性×justness×legitimacy×一階の公共性×二階の公共性×納得感×翻訳困難×words_as_public_goods×聞く人がボトルネック×ブロードリスニング×ai独裁制×アルゴクラシー×aiへの服従を公約とする人間×ハイエク×経済計算論争×ebgm×後継者をaiにする×不老不死×独裁者のai化×ニューロマーケティング×クオリア構造学×正統性が最も希少な資源×パフォーマンスによる正統性×正統性が最も重要で希少なリソース×贖宥状×技術者が贖宥状を売って儲ける×ホモルーデンス×セルフィッシュマイニング×ダブルスペンディング×チャリティーとフィランソロピーの区別×林_篤志×山古志村×水道哲学×視座×エミュレータ×得度×チベット×エストニア×台湾×dex×cbdc×最適輸送×両界曼荼羅×なめ敵会→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]