what it does
何が できる
使い方の 例
- GGUF形式のモデルを手元のPCで動かす
- OpenAI互換サーバーを立てて他アプリから使う
- モデルを量子化して省メモリで実行する
得意な こと
- 自分のPCでLLMを動かす(GGUF形式)
- CPU/GPU(Metal/CUDA/ROCm)で高速推論
- OpenAI互換サーバーを立てる
- モデルを量子化して省メモリで実行
こんな人におすすめ
- 無料・オフラインで軽く速くLLMを動かしたい人
- 自分でコマンドやサーバーを扱える中級者
向いていない場面
- クリック操作だけで完結させたい初心者(GUIならLM StudioやJan)