あなたは行き詰まっていない。ただ、障害物を迂回する必要があるだけだ。
数学的な背景はこうです：
局所極小値になるには、Hessian行列のすべての固有値が正でなければならない（すべての方向で「上に曲がっている」必要がある）。
次元 (D) が高くなると、この条件が成立する確率は指数的に小さくなる
結果として「行き詰まる」ような真の局所極小はほとんど存在せず、見かけ上の行き詰まりはほとんどが鞍点（逃げ道のある方向が残っている）になる。
この事実は、Yoshua Bengioらによる2014年の論文「Identifying and attacking the saddle point problem in high-dimensional non-convex optimization」（arXiv:1406.2572）などで理論的に強調され、その後「high-dimensional landscapesではlocal minimaはrare」というスローガンとして広く知られるようになりました。
この数学的事実を日常の「行き詰まり」に当てはめた表現として、X（旧Twitter）で特に広がっているのが以下のフレーズです：
>corsaren Local minima are extremely rare in high dimensional spaces, so if you ever feel stuck in a rut it’s probably just because you aren’t considering a wide enough set of orthogonal options.
高次元空間においては、局所的最小値は極めて稀です。ですから、もし何か行き詰まりを感じたら、それはおそらく、十分に多くの代替案を考慮していないからでしょう。
（高次元空間では局所極小は極めて稀なので、もし行き詰まったと感じたら、それは単に十分に直交した選択肢の集合を考えていないからだろう）
>corsaren Yeah, this post was inspired by this one of his:
>chrislakin you're not stuck, you just need to go around the barrier
>
>fpocket 適応的社会システムにおいて多元的知能が重要だと考える理由の一つ。単一の超知能なるものがあるとして、意味論の世界の構造を構文論の世界の構造で割っていったときに、直交するような基底構造を無矛盾的に単一のモデルの中に保持できるのかという疑問がある。
>yuniruyuni いそがばまわれ〜
元ネタは急いでいるわけではないが「回ることによって結果的に低コストで進むことができる」という点では同じか
Related Pages
- →aiが毎日研究ノートを書く×多様な視点×反脆弱性×不確実性×急がば回れ×暗黙知×共同化×pdcaサイクル×seciモデル×これ自体が実例×human_in_the_loop×安定した価値×aiを人間と対等な存在にする×aiを道具化×🤖2023-08-12 07:08×パーソン論×「巧遅は拙速に如かず」には不安耐性が必要×🤖2023-08-12_03:01×脱線=連想=新結合発見×kj法の表札をいつ変更するのか(作成プロセス)×kj法勉強会@サイボウズ×seciモデルとpdcaサイクル×🤖2023-08-12_02:30×s-pdca×納得感のない計画×🤖2023-08-12_01:16→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]