トークンとは？
トークンとは、生成AI（LLM）が文章を読み書きする際に扱う処理の最小単位のことです。 単語そのものではなく、単語の一部や記号などに分割された文字列の断片であることが多く、AIは文章を一つながりの塊としてではなく、このトークンの並びとして処理しています。
仕組み
LLMは入力された文章を、あらかじめ決められたルール（トークナイザー）で細かく分割し、トークンの列に変換してから処理します。出力する際も同様に、トークンを一つずつ予測して積み重ねることで文章を組み立てます。生成AIが一度に処理できる文章量の上限や、APIを使った際の利用料金は、いずれも文字数ではなくトークン数を基準に計算されるのが一般的です。
ビジネスでの使いどころ
API経由で生成AIを業務システムに組み込む場合、利用料金はやり取りしたトークン数に応じた従量課金になることが多く、プロンプトや取り扱う文書が長くなるほどコストが増えます。長文の資料を一度に読み込ませたい場合も、モデルごとに決まっているトークン数の上限を超えられないため、要約や分割といった工夫が必要になる場面があります。