単語埋め込みとは？Word2Vec・GloVe・one-hot表現との違いをわかりやすく解説

単語埋め込みとは？Word2Vec・GloVe・one-hot表現との違いをわかりやすく解説

単語埋め込みは単語を意味のベクトルに変える方法

単語埋め込みは、英語ではword embeddingと呼ばれます。コンピュータはそのままでは「王様」「女王」「銀行」「猫」といった単語の意味を理解できません。そこで、単語を数十次元から数百次元程度の数値の並び、つまりベクトルに変換します。

重要なのは、単語をただ数字に置き換えるだけではない点です。単語埋め込みでは、大量の文章における単語の使われ方から、意味や使われる場面が近い単語ほど近いベクトルになるように学習します。たとえば「医師」と「看護師」、「猫」と「犬」、「東京」と「大阪」は、それぞれ関係の近い単語として配置されやすくなります。

このように単語をベクトルにすると、単語同士の類似度を計算したり、機械学習モデルの入力として扱ったりできます。検索、文章分類、感情分析、機械翻訳など、多くの自然言語処理の土台として使われてきました。ただし、本記事で扱う単語埋め込みは、主に1つの単語に1つの固定ベクトルを割り当てる静的な単語埋め込みです。文章埋め込み、画像埋め込み、RAGなどを含む埋め込み表現全般は、親記事の埋め込み表現：言葉の意味を捉える技術で整理しています。

one-hot表現との違い

単語埋め込みを理解するには、まずone-hot表現との違いを見ると分かりやすくなります。one-hot表現は、語彙に含まれる単語の数だけ長いベクトルを用意し、該当する単語の位置だけを1、それ以外を0にする方法です。

たとえば語彙が「猫、犬、机、銀行」の4語だけなら、「猫」は[1, 0, 0, 0]、「犬」は[0, 1, 0, 0]のように表せます。この方法は単純で扱いやすい一方、単語同士の意味の近さを表せません。「猫」と「犬」は意味的には近いですが、one-hot表現では「猫」と「犬」も「猫」と「机」も、同じように別物として扱われます。

単語埋め込みでは、各単語を短い密なベクトルで表します。密なベクトルとは、0ばかりではなく、さまざまな数値が入ったベクトルのことです。たとえば「猫」は[0.21, -0.08, 0.74, …]、「犬」は[0.19, -0.05, 0.70, …]のように表され、似た意味の単語ほど近い値になりやすくなります。

ベクトル空間と類似度の考え方

単語埋め込みでは、単語がベクトル空間の中に点として配置されていると考えます。実際には数百次元の空間なので人間には直接見えませんが、2次元や3次元の図にすると、意味の近い単語が近くに集まるイメージになります。

たとえば「猫」「犬」「動物」は近くに集まり、「車」「電車」「道路」は別の近い場所に集まります。「銀行」は「預金」「融資」「口座」に近くなりやすいでしょう。このような配置は、単語が文章の中でどのような単語と一緒に現れやすいかをもとに学習されます。

単語同士の近さを測るときによく使われるのが類似度です。代表的にはコサイン類似度が使われます。これはベクトルの向きがどれくらい似ているかを見る指標です。初心者の段階では、細かな数式よりも近い文脈で使われる単語ほど、ベクトル空間でも近くなるという感覚を押さえると十分です。

ただし、近いからといって必ず同じ意味とは限りません。反対語の「高い」と「低い」は同じような文脈で使われるため、単語埋め込みでは比較的近くなることがあります。単語埋め込みが捉えるのは、辞書的な意味そのものというより、大量の文章に現れる使われ方のパターンです。

Word2Vecは周辺語の予測から単語の意味を学ぶ

Word2Vecは、単語埋め込みを広く知られる技術にした代表的な手法です。基本の考え方は、「同じような文脈で使われる単語は、近い意味を持つことが多い」というものです。たとえば「猫は魚を食べる」「犬は肉を食べる」のような文章が多ければ、「猫」と「犬」は似た位置に置かれやすくなります。

Word2Vecには、よく説明される2つの学習方式があります。CBOWとSkip-gramです。どちらも単語の周辺に現れる単語を使いますが、予測の向きが違います。

CBOWは、たとえば「私は ___ を飲む」という周辺語から、空欄に入りそうな「水」「コーヒー」「お茶」などを予測するイメージです。一方、Skip-gramは「コーヒー」という単語から、その周辺に出やすい「飲む」「朝」「カップ」などを予測するイメージです。

どちらの方式でも、予測問題をたくさん解く過程で、単語のベクトルが少しずつ調整されます。学習が進むと、似た文脈で使われる単語のベクトルが近づき、異なる文脈で使われる単語は離れやすくなります。これがWord2Vecによる単語埋め込みの基本です。

GloVeは単語の共起情報を全体から捉える

GloVeはGlobal Vectors for Word Representationの略で、Word2Vecと並んでよく知られる単語埋め込み手法です。Word2Vecが周辺語を予測する学習として説明されることが多いのに対し、GloVeはコーパス全体における単語同士の共起情報を重視します。

共起とは、ある単語と別の単語が同じ文脈に一緒に現れることです。たとえば「氷」と「冷たい」、「銀行」と「預金」、「医師」と「病院」は、文章の中で一緒に現れやすい組み合わせです。GloVeは、こうした共起の統計をもとに、単語同士の関係がベクトルに反映されるように学習します。

初心者向けには、Word2Vecは「周辺語を予測する訓練から単語の意味を学ぶ方法」、GloVeは「文章全体でどの単語がどの単語と一緒に出やすいかを使って意味を学ぶ方法」と捉えるとよいでしょう。どちらも単語単位の静的埋め込みを作る代表的な方法であり、BERTのような文脈埋め込みが普及する前の自然言語処理で広く使われました。

王様 – 男性 + 女性 ≒ 女王 の意味

単語埋め込みの説明で有名なのが、「王様 – 男性 + 女性 ≒ 女王」というベクトル演算の例です。これは、単語のベクトル空間に、単語同士の関係性が方向として現れることがある、という考え方を示しています。

「王様」と「女王」は、どちらも王族や統治者に関係する単語です。一方で、「王様」には男性的な属性、「女王」には女性的な属性が含まれます。もし単語埋め込みがこうした関係をうまく学習していれば、「王様」のベクトルから「男性」に関係する方向を引き、「女性」に関係する方向を足した先が、「女王」のベクトルに近づくことがあります。

この例は、単語埋め込みが単語を単なる番号としてではなく、意味の関係を含むベクトルとして扱えることを示す直感的な例です。国と首都、男性形と女性形、単数形と複数形など、一定の関係がベクトル空間上の似た方向として表れる場合があります。

ただし、これは常に成り立つ法則ではありません。結果は学習データ、語彙、モデルの種類、次元数、前処理、評価方法に依存します。また、学習データに含まれる社会的な偏りがベクトルに反映されることもあります。そのため、この演算は「単語埋め込みの性質を説明する分かりやすい例」として理解し、過度に断定しないことが大切です。

静的単語埋め込みの限界

Word2VecやGloVeのような単語埋め込みは便利ですが、大きな限界があります。それは、同じ単語には基本的に同じベクトルが割り当てられることです。このような表現を静的埋め込みと呼びます。

たとえば「銀行」という単語を考えてみましょう。「銀行で口座を作る」という文では金融機関を意味します。一方、「川の銀行」という表現を英語のbankで考えると、川岸を意味する場合があります。日本語でも「橋」「箸」「端」のように音が同じ言葉や、「走る」のように人、車、プログラムなど複数の使われ方を持つ言葉があります。

静的な単語埋め込みでは、こうした文脈ごとの意味の違いを1つのベクトルに押し込めることになります。そのため、文脈によって意味が変わる語を正確に扱うのが苦手です。「銀行」が金融機関として使われているのか、別の意味で使われているのかは、周囲の文を見なければ判断できません。

また、単語埋め込みは学習データに強く依存します。学習データに古い表現が多ければ古い意味に寄り、新しい用語や専門用語が少なければ十分なベクトルを得にくくなります。さらに、学習データに含まれる偏りも反映されるため、単語の近さをそのまま客観的な意味関係と見なすのは危険です。

BERTなどの文脈埋め込みとの違い

BERT以降のモデルでは、同じ単語でも文脈に応じて異なるベクトルを作れるようになりました。このような表現は、文脈埋め込みまたは contextual embedding と呼ばれます。静的な単語埋め込みとの大きな違いは、単語だけを見て固定ベクトルを返すのではなく、周囲の文全体を読んだうえでベクトルを作る点です。

たとえば「銀行でお金を引き出す」と「川のbankを歩く」では、bankという語の意味が違います。静的な単語埋め込みではbankに1つのベクトルが割り当てられますが、BERTのような文脈埋め込みでは、前後の単語を踏まえて異なる表現を作れます。

この違いにより、BERT以降のモデルは読解、質問応答、文章分類、生成AIの基盤などで強力な性能を発揮します。一方で、Word2VecやGloVeのような単語埋め込みは、軽量で理解しやすく、ベクトル表現の基本を学ぶうえで今でも重要です。RAGや生成AIを学ぶ場合も、まず単語埋め込みで「言葉をベクトルとして扱う」という発想を理解しておくと、文章埋め込みやベクトル検索の理解につながります。

単語埋め込みを学ぶときの整理

単語埋め込みは、自然言語処理の歴史の中で非常に重要な考え方です。one-hot表現では難しかった「意味の近さ」をベクトル空間で扱えるようにし、類似語検索、文章分類、翻訳、推薦などの精度向上に貢献しました。

学習の順番としては、まずone-hot表現との違いを押さえ、次にベクトル空間と類似度を理解し、その後にWord2VecのCBOWとSkip-gram、GloVeの位置づけを見ると整理しやすくなります。最後に、静的埋め込みでは文脈を考慮できないため、BERTのような文脈埋め込みが登場した、という流れで捉えると自然です。

現在の生成AIやRAGでは、単語単位ではなく文章やチャンク全体をベクトル化する場面が多くなっています。それでも、単語埋め込みは「意味を数値空間で扱う」発想の出発点です。親記事の埋め込み表現：言葉の意味を捉える技術と合わせて読むと、単語、文章、画像、検索システムへと考え方を広げやすくなります。

更新履歴