what it does
何ができる
自分のPCの中だけでLLM・画像・音声を動かせる無料オープンソースのAIエンジン。OpenAI互換APIの差し替えに使える。
たとえば、こんなことができます
- Dockerで起動してローカルLLMをAPIとして使う
- GPUなしのPCでチャットモデルを動かす
- データを外部に出さず社内文書を処理する
得意なこと
- 自分のパソコンの中でLLM・画像・音声モデルを動かす
- OpenAI互換APIとして使い、既存アプリの差し替えができる
- GPUがない一般的なPCでも動作する
- Docker等で数分でセットアップして起動する
- プライバシー重視でローカル運用したい人
- OpenAI APIを無料の自前環境に置き換えたい開発者
- インストール不要ですぐ使いたい初心者
- 最新の超大規模モデルをそのまま使いたい人
日本語対応:UIは英語中心。日本語対応モデルを読み込めば日本語の生成も可能(公式参照) / 主なモデル:各種オープンモデル(LLM/画像/音声。必要なバックエンドだけ導入)