NVIDIA「Nemotron 3.5 Content Safety」公開。AIの入出力を多言語・画像つきで安全チェック

NVIDIAは2026年6月2日、AIのやり取りが安全かどうかを見張る小型モデル「Nemotron 3.5 Content Safety」をHugging Faceで公開しました。これは、利用者がAIに送る指示（プロンプト）や、AIが返す答えが、暴力や差別などの不適切・危険な内容を含んでいないかを判定する“安全フィルター”の役割を持つAIです。

土台にはGoogleの小型モデル「Gemma-3-4B-it」を使い、NVIDIAが多言語・画像も扱える（マルチモーダル）安全データで追加学習しました。文章だけでなく、必要に応じて画像やAIの返答も合わせてチェックできる点が特徴です。ライセンスはNVIDIA Open Model Licenseで、研究にも商用にも使えます。

私たちには、自分でチャットボットや投稿サービスを作るとき、危ない内容を自動でふるい分ける仕組みを“無料の土台”として組み込める、という点で関係します。ただし安全判定は完璧ではなく、行き過ぎ（過剰なブロック）や見逃しといった誤判定も起きるため、最終確認は人が行う運用が安全です。出典はHugging Face（NVIDIA公式ブログ）です。