NISHIO Hirokazu[Translate]
Ollama
2024-04-26
nishioollamaとは何？英語で検索して日本語で解説して

gptOllamaは、大規模言語モデル（LLM）をローカルで簡単に実行、作成、共有することを目的としたオープンソースアプリケーションです。このプラットフォームは、主にMacOSとLinuxで利用可能で、コマンドラインインターフェイスを通じて操作します。最初はLlama2モデルをサポートしていましたが、その後、MistralやPhi-2などのモデルもサポートするようになりました​。
(Isaac Chung)What is Ollama? A shallow dive into running LLMs locally | Isaac Chung​

Ollamaの特徴は、GPUがなくても大きなモデルを効率的に動かすことができる点です。これは、モデルの重みを量子化し、一部の層をCPU上で、他の層をGPU上で実行することにより、効率的な推論を実現しています。このため、大規模モデルでもローカルの限られたリソース内で動作可能です​​。
(Mitja Martini)Ollama on Windows: How to Install and Use it with OpenWebUI | Mitja Martini

Ollamaを使用する主な理由は、大規模な言語モデルを第三者のクラウドサーバーに依存せずに自分のハードウェア上で安全に実行できることにあります。これにより、ユーザーデータのプライバシーを保護しつつ、必要に応じて独自のカスタマイズや拡張が可能です。また、モデルのダウンロードから管理、実行までを簡単に行うことができ、さまざまなモデルを試すことも容易になります​​。
(GitHub) ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.
(Isaac Chung)

総じて、Ollamaはプログラミングスキルがあるユーザーや、第三者のサービスを使用せずに言語モデルを自分の環境で動かしたいと考えている人々に適しています。


>_saip_ Ollama、インストールして
> $ ollama run phi3
> で即Phi-3が使えるの、体験がすごい！
> 初回はpullする必要があるけど2回目以降は速攻使えて、モデルロードとかないんか…？となった。
>_saip_ VRAM8GBのローカル環境で、引くほど早く日本語生成してた。文章は支離滅裂だったけど、Instruction Tuningされてる気配がしたのでちゃんとInstruction書いてあげればいい感じに動くのでは？と思った。

Related Pages

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]