足し算の学習
数をPositional Encoding的な指数的に周期の伸びる回転する単位ベクトルの組み合わせで表現することで、その足し算が意外と小さなネットワークで学習できる。N桁の整数を2N次元に埋め込めば中間層はたかだか32ユニットで3桁の足し算を全問正解することができる。
:2桁の足し算の正解率、埋め込みが2次元の場合
16: 2291/5050 = 45.4%
32: 3586/5050 = 71.0%
64: 4276/5050 = 84.7%
128: 4719/5050 = 93.4%
256: 4909/5050 = 97.2%
4次元の場合
16: 4899/5050 = 97.0%
32: 5050/5050 = 100.0%
64: 5050/5050 = 100.0%
128: 5050/5050 = 100.0%
256: 5050/5050 = 100.0%
3桁の足し算(6次元へ埋め込み)
16: 423463/500500 = 84.6%
32: 500500/500500 = 100.0%8→32→4という小ささで、5050件の2桁の数値同士の結果が2桁に収まる足し算を全問正解するニューラルネットを巡回セールスマン問題でニューラルネットの可視化した結果、中間層が半分ずつに分担して、入力の半分だけに注目してることがわかる。
で、この中間層の並び替えに従って出力層への投射も可視化するとこう。
2桁の整数を2 * 2次元に埋め込んでいるというところから予想がつくと思うが、要するに周期100と周期10の回転子がそれぞれ10の位と1の位を表現しているのである。ただしあくまでPositional Encodingなので10の位は階段状に上がるのではなく、10倍ゆっくり振動するだけである。
3桁の足し算ができるNN
なお2問間違えている: 32: 500498/500500 = 100.0%
12→32→6
中間層が意外と少なくても大丈夫な実験。2桁の足し算の正解率を中間層を減らしながら出す。12ぐらいから性能が顕著に悪化する。8→12→4で9割以上成功できる理由について数学的に説明がつくかどうか少し考えてみたけどわからない。単純な掛け算のだと入力の4倍必要になるのだが、今回は入力が単位円周上に制限されていることによることがおそらく有用活用されているのだろう。
:20: 5043/5050 = 99.9%
19: 5041/5050 = 99.8%
18: 4975/5050 = 98.5%
17: 5002/5050 = 99.0%
16: 4957/5050 = 98.2%
15: 4765/5050 = 94.4%
14: 5003/5050 = 99.1%
13: 4921/5050 = 97.4%
12: 4592/5050 = 90.9%
11: 4489/5050 = 88.9%
10: 3632/5050 = 71.9%
9: 2866/5050 = 56.8%
8: 2477/5050 = 49.0%
7: 1919/5050 = 38.0%
6: 1887/5050 = 37.4%
5: 815/5050 = 16.1%
4: 368/5050 = 7.3%
3: 250/5050 = 5.0%Related Pages
- →拡散モデル×denoising_diffusion_probabilistic_models×ddpm×high-resolution_image_synthesis_with_latent_diffusion_models×latent_diffusion_model×vae×stable_diffusion_latent_space_visualization×denoising_diffusion_implicit_models×ddim×stable_diffusionのpromptは77×768次元のテンソルになる×Positional Encoding×clip×clip-vit-l-14×注意機構×u-net×オートエンコーダ×stable_diffusionのシードとプロンプトの関係×stable_diffusion埋め込みテンソル編集×stable_diffusion_inpaintの仕組み×mask_again_after_inpaint×img2prompt×clip_interrogator×blip×画家の発見×高次元においてコサイン類似度0.2は激レア×textual_inversionを試してみる×dreambooth×stablediffusion×バタフライ効果×word2vec→
- →エンジニアのための自分経営戦略×大衆を喜ばせるのは悪×知識と資本論とテクノロジストの条件×和で評価するとジェネラリストが選ばれる×属人性の排除には二種類ある×属人性×コンピュータグラフィクス、メディアアート、茶文化、そして、禅。×やる気のなくなるコメントの対処法×その技術を使わない方がいい×落合陽一の呪い×新概念の伝播×理解者になるためには×ものを作らない人は好き嫌いで定義され、好き嫌いは世界を狭くする×equality_v.s._equity×scrapboxベストプラクティス×ロジスティック回帰は回帰か分類か×nocodeと負の遺産×研究者の評価に数値基準を設けてはいけない×タユピンコ人のたとえ×限界費用逓増の法則が実感に合わない×svmで確率推定×「ちゃんとやれ」はミッドコアの思想×心理的安全な組織しか知らない人は、心理的安全性を理解するのが難しい×ワインに汚水を注ぐたとえ×盲点カード×わからないことに対する恐怖とその免疫×良いアイデアなら許可を求めるな×誰でもできるように、は過剰品質×Positional Encoding×will/can/mustとアジャイル×無責任感×np.dot,_np.tensordot,_np.matmulの違い×「名前的型システムと構造的型システムの違い」加筆案→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]