what it does
何ができる
OllamaやLM Studioの土台にもなっている、ローカルでLLMを動かすための中核エンジン。
たとえば、こんなことができます
- GGUF形式のモデルを手元のPCで動かす
- OpenAI互換サーバーを立てて他アプリから使う
- モデルを量子化して省メモリで実行する
得意なこと
- 自分のPCでLLMを動かす(GGUF形式)
- CPU/GPU(Metal/CUDA/ROCm)で高速推論
- OpenAI互換サーバーを立てる
- モデルを量子化して省メモリで実行
- 無料・オフラインで軽く速くLLMを動かしたい人
- 自分でコマンドやサーバーを扱える中級者
- クリック操作だけで完結させたい初心者(GUIならLM StudioやJan)
日本語対応:日本語◎(対応モデルをGGUF化すれば動作)