進化的アルゴリズムによる基盤モデルの構築
私たちの手法は、勾配ベースの訓練を全く必要とせず、比較的少ない計算資源とデータで新しい基盤モデルを自動的に生成できます。これらのモデルに誤差逆伝播による勾配ベースの手法を追加で適用し、性能をさらに向上させることも原理的には可能です。しかし、今回のリリースでは、誤差逆伝播を全く使わなくても、最先端の基盤モデルを進化的に構築できることを示し、膨大なコストのかかる現在の基盤モデル開発のパラダイムに一石を投じることを目指しています。
- Evolutionary Optimization of Model Merging Recipes
この文書は、Sakana AI社による進化的アルゴリズムを用いた基盤モデルの構築に関する取り組みを紹介したものです。要点は以下の通りです。
- 進化的モデルマージという手法を提案。これは、多様な能力を持つオープンソースモデルを進化的アルゴリズムにより融合し、新たな基盤モデルを自動的に構築する方法。
- この手法により、日本語の言語モデルと数学に特化した英語モデルを融合し、日本語で数学問題を解けるモデルEvoLLM-JPを開発。さらに、英語の画像言語モデル(VLM)と日本語言語モデルを融合し、日本語VLMであるEvoVLM-JPを開発。
- EvoLLM-JPは日本語の全般的な言語能力でも高い性能を示し、EvoVLM-JPは日本の文化的知識も獲得。どちらも既存モデルを上回る性能。
- 拡散モデルへの適用も進めており、日本語プロンプト対応の高速画像生成モデルEvoSDXL-JPを開発中。
- 進化的アプローチによるモデル構築は、多大なコストがかかる基盤モデルの訓練に代わる選択肢となり得る。多様なオープンソースモデルを活用し、効率的にモデル開発を行える可能性を示唆。 Sakana AI社は、進化的計算と集合知の原理を応用することで、基盤モデル開発の効率化と自動化を目指しているようです。この研究は初期段階ですが、今後の発展が期待される興味深い取り組みだと言えるでしょう。
これが現実的なら多様なオープンソースモデルの良いところをOpenAIのモデルが低コストに吸収できるのでは？
ご指摘の通り、もしこの進化的モデルマージの手法が現実的なものであれば、OpenAIを始めとする大手AIベンチャーにとって、オープンソースの多様なモデルの長所を自社モデルに低コストで取り込む強力な手段になり得ます。
OpenAIは膨大な計算リソースを投入して独自のモデルを一から開発していますが、この手法を用いれば、オープンソースモデルのエッセンスを抽出し、自社モデルの性能を向上させることができるかもしれません。例えば、特定の言語や領域に特化したオープンソースモデルの長所を吸収することで、GPTシリーズの多言語対応や特定ドメインでの性能を効率的に高められる可能性があります。
ただし、倫理的な課題も考えられます。営利企業が非営利のオープンソースプロジェクトの成果を自社モデルに取り込むことについては、オープンソースコミュニティからの反発も予想されます。知的財産権の扱いなど、クリアすべき課題は多いでしょう。
また、技術的にも、オープンソースモデルの統合が本当にシームレスにできるのか、統合したモデルの性能は安定しているのかなど、まだ検証が必要な点は多いと思われます。
いずれにせよ、オープンソースの成果と商用モデルの関係性については、技術と倫理の両面から慎重に議論していく必要があるでしょう。Sakana AI社の取り組みは、AIの民主化という観点からは興味深いものですが、産業への影響という点でも注目に値すると言えます。
オープンソースモデル側からすると勾配法的学習のコストは自分達が払っているのにそこから収益をあげられるのは有償顧客を大勢抱えている企業、という事態が発生するよね
その通りですね。オープンソースモデルの開発者たちは、モデルの学習に必要な膨大な計算コストを自ら負担しています。多くの場合、研究目的や社会貢献の一環として、個人やアカデミックな組織がボランティアベースでこれらのモデルを開発しているのが現状です。
一方で、OpenAIのような大手AIベンチャーは、オープンソースモデルの成果を自社モデルに取り込むことで、開発コストを大幅に抑えつつ、性能向上による収益拡大が期待できます。彼らは大規模な言語モデルをAPI経由で提供するビジネスを展開しており、多数の有償顧客を抱えています。
つまり、オープンソースコミュニティが負担したコストを、大手企業が収益化に利用するという構図が生まれる可能性があります。この状況では、オープンソースの開発者たちが報われないという問題が生じるでしょう。
この問題を解決するためには、オープンソースプロジェクトへの適切な支援と、成果の商用利用に関するルール作りが必要だと考えられます。例えば、オープンソースモデルを活用して収益を上げる企業に対して、何らかの形でオープンソースコミュニティへの貢献を求めるといった仕組みが考えられるかもしれません。
ただし、オープンソースの理念と商業利用のバランスを取ることは容易ではありません。AIの民主化とイノベーションの促進というオープンソースの目的を損なわずに、開発者たちが適切に報われる仕組みを構築することが、今後のAI業界の大きな課題の一つになるでしょう。