what it does
何が できる
使い方の 例
- 20bを16GBメモリのPCでローカル実行する
- 機密データをクラウドに出さず自前GPUで処理する
- 自社データで微調整して専用モデルにする
得意な こと
- オープンウェイトのLLMを自分の環境で動かす
- 推論の努力度(低・中・高)を切替
- ツール利用・関数呼び出し・思考の連鎖
- オンプレ/オンデバイスで自前運用・微調整
こんな人におすすめ
- 手元でOpenAI系の賢いモデルを動かしたい人
- オンプレ運用・微調整をしたい開発者
向いていない場面
- スマホだけで手軽に使いたい人
- マルチモーダルや公式APIが必要な人