エンベディングとは?
エンベディング(Embedding:埋め込み表現)とは、文章・画像・音声などのデータを、意味的な近さを反映した数値の列(ベクトル)に変換する技術のことです。 意味が近いデータ同士は変換後のベクトル空間上でも近い位置に配置されるため、AIは「言葉や画像の意味の近さ」を数値の計算として扱えるようになります。
仕組み
エンベディングは、大量のデータを学習したモデルによって、それぞれのデータを固定長の数値ベクトルに変換します。例えば「犬」と「猫」は「机」よりも意味が近いため、変換後のベクトル空間上でも互いに近い位置に配置されます。この性質を利用すると、キーワードが完全一致しなくても「意味が近い文書」を検索したり、文章同士の類似度を数値として比較したりできます。LLMの内部でも、入力された文章はまずトークンに分割され、トークンごとにエンベディングへ変換されてから処理されます。
ビジネスでの使いどころ
社内文書やFAQを検索する際に、キーワードが完全一致しなくても「言い回しは違うが意味が同じ」文書を探し出す用途が代表的です。この仕組みはRAG(検索拡張生成)の検索ステップの中核として使われており、変換したエンベディングをベクトルデータベースに保存しておくことで、大量の文書からでも高速に類似文書を探し出せます。