OpenAI's plans according to Sam Altman
2023-05-29
2023-06-02現在、削除された WebArchive
日本語訳してる人
GPUリソース逼迫
GPT-4の初期のデモにあったマルチモダリティを一般公開できないのはGPUが足りないから
長いコンテキスト幅もできるがTransformarではO(N^2)なのでやはり提供できない
関連: リソースが払底していく過程
スケール則はまだ続いているが(計算リソースを食い潰してるから)年に2〜3倍のペースでしか増やせない
Related Pages
- →予測誤差×情報ギャップ×扁桃体×帯状皮質×前頭前野×外側前頭前野×アプレイザル×中脳×ドーパミン神経×腹側被蓋野×vta×黒質×sn×腹側線条体×側坐核×海馬×新奇性の検出×海馬-vtaループ×年をとっても好奇心を持ち続けるといい×前頭頭頂×注意ネットワーク×注意資源×デフォルトモードネットワーク×dmn×好奇心ドリブンで勉強している時の方が知識の統合が捗る×内側前頭前野×mpfc×後部帯状皮質×楔前部×頭頂葉×角回×内的な思考×自己関連的な想起×知識の整合性×意味づけのネットワーク×スキーマ×エピソード記憶×意味記憶×モダリティ×マルチモダリティ×マルチモーダル×高次連合野×メタ認知×概念を抽象化×問い中心の授業×発見学習×プロジェクトベース学習×pbl×新奇性への探求×創造的思考×好奇心と創造性は新規探索という共通のメカニズムから生じる×自由連想×心的シミュレーション×実行制御ネットワーク×素人のアイデアはプレゼンでは独創性高く見えるが実現可能でない×ビッグファイブ×開放性×内的思考のネットワーク→
- →「名前が変わったよ！」v.s.「半額にしたよ！」×ai戦争×gemini×コンテキスト幅×マルチヘッドアテンション×perplexity課金した×日記2024-02-15×日記2024-02-17×日記2023-11-08×日記2023-02-16→
- →ChatGPT Plugins×chatgpt_plugin×chatgpt_plugins実験×自分が興味がある分野の知識パッケージをllmに与える×webpilot×自分が興味がある分野の知識パッケージをllmに与える機能×pdfからpngへの変換×chatgpt_retrieval_plugin→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]