コンテキストウィンドウとは？
コンテキストウィンドウとは、LLMが一度の処理で読み込める文章量の上限のことです。 この上限を超えた分の文章はAIに認識されず、上限内に収まっている情報のみをもとに回答が生成されます。
仕組み
LLMは入力された文章をトークンという単位に分割して処理しており、コンテキストウィンドウはこのトークン数の上限として定められています。この上限には、それまでの会話の履歴・渡した文書・AIからの出力もすべて含まれるため、やり取りが長くなったり長文の資料を読み込ませたりすると、上限に達して古いやり取りの内容が参照されなくなることがあります。コンテキストウィンドウの大きさは、モデルや提供事業者によって異なります。
ビジネスでの使いどころ
長文の契約書・マニュアル・議事録などをまとめてAIに読み込ませたい場合、コンテキストウィンドウの上限を超えていないかを確認する必要があります。上限を超える場合は、文書を分割して要約を重ねる、RAGを使って必要な部分だけをその都度検索して渡すといった工夫が必要になります。対話型のAIを長時間使い続ける場合も、会話の前半の内容が上限からこぼれ落ちて参照されなくなることがある点に注意が必要です。