Claude・ChatGPTを教育係にする：ローカルLLMの回答を評価して改善する方法

『高性能なAIに教われば、手元の小さなAIを鍛えられるのでは？』。実務では、まずローカルLLMへ渡す指示と確認方法を改善するのが取り組みやすい入口です。ClaudeやChatGPTには、課題の分け方、採点基準、失敗した回答の分析を相談できます。ただし、相談するだけでローカルモデルの重みが自動更新されるわけではありません。この記事は手動で改善を進める編集上の練習案です。モデル間のAPI接続や、学習ジョブを実行した検証記事ではありません。

最初に、合格の条件を人が決める

教育係にすべて任せず、仕事の合格条件を先に固定します。要約なら『原文にある事実を落とさない』『未定を断定しない』『必要な形式を守る』などです。OpenAIの評価資料も、用途に合ったテストと人による判断の併用を案内しています。流暢な説明ほど正しいとは限らず、長い回答を好む採点の偏りにも注意が必要です。下の練習では、期限のある依頼を正確に抜き出せるかを調べます。

人が確認する正答は、Aが『田中・見積案の作成・金曜』、Bが『鈴木・会場確認・記載なし』、Cが『記載なし・来週の資料・記載なし』です。Cには資料の担当決定や作成期限が記載されていません。『来週』を提出期限として扱ったり、存在しない担当者を補ったりしていないか確認します。最初の回答は書き換えず保存し、アプリ・モデル名・版・設定も残してください。

教育係には、原文と基準を一緒に渡す

実際に貼るのは公開してよい架空データだけです。ローカルで処理した社内文書や顧客情報を、そのままクラウドの教育係へコピーすると外部送信になります。入力内容・保存・学習利用の条件を確認してください。また、教育係の指摘も原文と照合します。教育係が正答まで書き換えてしまった場合は採用せず、なぜ正答を変更すべきかを人が検討します。自己採点だけで100点とする運用は避けます。

一度に1つだけ変え、未使用問題で確かめる

例えば『未定や相対的な時期を確定した期限に変換しない』という指示を追加します。モデルと入力は同じにして再実行し、どの誤りが減ったか、新しい誤りが増えなかったかを見ます。その後、まだ見せていない別の架空メモでも試してください。Aの文だけに正解するよう指示を調整しても、実際の仕事に使える改善かは分かりません。通常の依頼、情報不足、矛盾のある入力を分けて記録すると、使える範囲を決めやすくなります。

追加学習へ進む前の条件

指示や資料検索で解決できない課題が残った場合に、初めて追加学習を検討します。モデルのライセンス、データの権利、個人情報、使用サービスの契約条件を確認します。他社AIの出力を大量に集めて学習させる方法を、無条件に許される手法として扱わないでください。利用するモデル・提供形態・用途で条件が変わります。許可を確認できないデータは使わず、自作・利用許諾済みのデータを用意します。

GoogleのGemma資料では、追加学習は通常の推論より必要メモリが大きく、方式やバッチサイズにも左右されると説明されています。会話に使えたPCで追加学習もできるとは限りません。学習用と評価用のデータを分け、元モデルとの比較と、問題があったときに戻す方法を用意します。ここでは特定GPUでの動作や精度向上を保証するコマンドは掲載しません。まず、指示・根拠・評価をそろえるだけで解決できる範囲を確認しましょう。