Gemma・Qwen・Ollamaの違い：ローカルLLMの選び方と組み合わせ

名前を全部覚える前に、『考える本体』『それを動かす土台』『作業を助ける道具』の3段に分けましょう。GemmaやQwenは考える本体にあたるモデルです。モデルファイルをダウンロードしただけでは、通常のアプリのように会話を始められません。OllamaやLM Studioなど、対応する実行アプリで読み込みます。この記事の構成例は公式の接続資料をもとにした案内で、全組み合わせを端末で実測した動作保証ではありません。

最初の会話に、全部のアプリは要りません

画面で操作したいなら、対応OSのLM Studioと、アプリが扱えるモデル1つから始める方法があります。モデルの検索・取得・読み込みを行い、短い日本語で会話します。OllamaやOpen WebUIを同時に追加する必要はありません。コマンドや別アプリからのAPI接続を使いたい場合はOllamaも選択肢です。APIはアプリ同士が質問と回答を受け渡す窓口で、クラウド専用の仕組みではありません。

GPT4AllはGPT-4というモデルではありません

GPT4AllはNomicのアプリ名です。対応モデルを取得して会話し、LocalDocsでは自分の資料を検索して質問できます。Ollamaを先に導入する必要はありません。一方、GGUF形式ならどんな新モデルでも使える、とは判断できません。公式のModels案内とアプリの対応を確認してください。Gemma 4を使いたいからといって、未対応の版へファイルだけ押し込むと読み込みに失敗します。

Gemma 4とQwenは、版と形式まで指定する

Googleの概要にはGemma 4のE2B・E4B・12B・26B A4B・31Bが掲載されています。Ollamaにもそれぞれのタグがあります。QwenはWebで使うQwen Chatと、ダウンロードして動かす公開モデルを分けましょう。接続例としてQwen3の公式資料にはOllamaやLM Studioの案内がありますが、この記事はそれを最新・最強と推薦するものではありません。新しい版ほど自分の端末で動くとは限らず、用途別の確認が必要です。

KoboldCpp・Hermes Agent・OpenClawはどう組み合わせる？

KoboldCppは対応するGGUFモデルを読み込み、内蔵のブラウザ画面でも会話できる実行ツールです。モデルは別に用意します。Hermes AgentとOpenClawは、単に回答するだけでなく、道具やチャット連携を使って作業を進める仕組みです。Ollama公式には両者との接続手順があります。ただし、会話できたモデルが道具の操作にも適しているとは限りません。会話が目的なら、最初からエージェントを入れなくて大丈夫です。

迷ったら、この順で進める

まず自分のOS・CPUが対応する実行アプリを1つ選びます。次に、そのアプリが対応する小さなモデルを1つ取得します。短文への応答と停止・終了方法が分かってから、資料検索やエージェントを追加してください。失敗したときは、アプリの版、モデルの正確な名前、量子化形式、入力長、エラー文を残します。一度に多くのアプリを入れない方が、どこで問題が起きたかを切り分けやすくなります。