ローカルLLMとは？
ローカルLLMとは、クラウド上のAPIを経由せず、自社のPCやサーバーなど手元の環境で動作させるLLMのことです。 インターネット経由でデータを外部に送信しないため、機密情報や個人情報を扱う業務でのセキュリティ・情報漏えい対策として選ばれることがあります。
仕組み
多くの生成AIサービスは、モデルを提供事業者のクラウド上で動かし、利用者はインターネット経由でその結果を受け取る形で使われています。一方ローカルLLMは、モデルのデータそのものを自社のオンプレミス環境やPCに置いて動かすため、外部との通信を伴わずに利用できます。動作に必要な計算資源（メモリ・処理性能）を自前で用意する必要があるため、扱えるモデルの規模には制約が生じやすく、比較的軽量なSLMが採用されることも多くあります。
ビジネスでの使いどころ
社外に出せない機密情報・個人情報を扱う業務、社内ネットワークが外部と切り離された環境での利用、API利用料を従量課金ではなく設備投資として扱いたい場合などで検討されます。一方で、モデルの導入・運用には専門知識やハードウェアへの投資が必要になるほか、性能面では最新のクラウド型LLMに及ばないケースもあるため、セキュリティ要件と性能・運用コストを比較して判断することが重要です。こうした判断は、社内のAI利用ルールを定めるAIガバナンスの検討事項の一つでもあります。