局所表現：言葉のベクトル表現

局所表現：言葉のベクトル表現

言葉の表現方法

計算機は、数を扱うことが得意です。しかし、言葉のような記号を直接理解することはできません。そこで、言葉を計算機が理解できる数に変換する必要があります。この変換方法の一つが、局所表現と呼ばれる手法です。局所表現では、単語一つ一つに固有の番号を割り当てます。そして、その番号に対応する場所に１を、それ以外の場所に０を配置したベクトルを作成します。これをワンホットベクトルと呼びます。

例として、「りんご」「みかん」「ぶどう」の三つの言葉を考えてみましょう。「りんご」には１番、「みかん」には２番、「ぶどう」には３番を割り当てます。すると、「りんご」を表すベクトルは、１番目の要素が１、それ以外の要素が０となります。具体的には、（１，０，０）のようなベクトルになります。同様に、「みかん」は２番目の要素が１、つまり（０，１，０）というベクトルで表されます。「ぶどう」は３番目の要素が１、つまり（０，０，１）というベクトルで表されます。このように、各単語は独立したベクトルで表現されます。

この局所表現には、単語間の関係性が全く考慮されていないという特徴があります。「りんご」と「みかん」はどちらも果物ですが、ベクトル上では全く関連性がないものとして扱われます。例えば、「りんご」と「みかん」のベクトルの内積を計算すると０になります。これは、「りんご」と「みかん」のベクトルが直交していることを意味し、数学的には類似性が全くないことを示しています。また、語彙が増えるごとにベクトルの次元数が増加するため、計算量が増大するという問題点もあります。これらの問題点を解決するために、分散表現と呼ばれる別の表現方法が用いられることもあります。

ベクトルの特徴

言葉の意味をコンピュータで扱う方法の一つに、ベクトル表現があります。ベクトルとは、複数の数値を並べたものです。言葉一つ一つをベクトルで表すことで、コンピュータは言葉の意味を計算できるようになります。初期のベクトル表現として、局所表現というものがあります。これは、扱う言葉全てを含む単語リスト（辞書）を用意し、それぞれの言葉に番号を振る方法です。例えば、辞書に100万語が含まれているとしましょう。この時、それぞれの言葉は100万個の数値が並んだベクトルで表現されます。「りんご」という言葉を例に取ると、「りんご」に対応する番号の場所にだけ１を入れ、それ以外の場所は全て０にします。他の言葉も同様に、対応する番号の場所にだけ１を入れ、それ以外の場所は全て０にします。このようなベクトルをワンホットベクトルと呼びます。

しかし、この局所表現にはいくつか問題があります。まず、ベクトルの次元数が非常に大きくなることです。100万語の辞書であれば、ベクトルの次元数は100万にもなります。そして、各ベクトルの中で、値が１である要素は一つだけで、残りは全て０です。このようなベクトルを疎なベクトルと呼びます。高次元で疎なベクトルは、計算に時間がかかり、多くのメモリを消費します。また、それぞれの言葉は完全に独立したベクトルとして表現されるため、言葉同士の関連性を捉えることができません。「りんご」と「みかん」はどちらも果物なので、意味的に近い言葉です。しかし、局所表現では、それぞれのベクトルに共通する部分がないため、この類似性を表現することができません。自然言語処理では、言葉同士の意味的な関係性が重要な手がかりとなることが多いため、これは大きな欠点となります。

具体的な例

具体的な例として、文章の種類を分ける作業を考えてみましょう。文章に含まれる単語を、単語一つ一つを独立した数値の並び（ベクトル）に変換し、そのベクトルの情報を元に文章を分類しようとすると、単語同士の関連性を捉えられないため、高い精度の分類は難しいでしょう。

例えば、「りんご」と「みかん」という単語を含む文章と、「パソコン」と「スマートフォン」という単語を含む文章を分類する場合を考えてみてください。単語一つ一つを独立した数値の並びに変換する方法では、「りんご」と「みかん」が果物であること、「パソコン」と「スマートフォン」が電子機器であることといった、単語同士の関連性を捉えることができません。つまり、「りんご」と「みかん」は似ている言葉、「パソコン」と「スマートフォン」も似ている言葉、といった情報が失われてしまうのです。

このため、「りんご」と「みかん」を含む文章と、「パソコン」と「スマートフォン」を含む文章は、どちらもただ単語が二つ含まれているだけの文章として扱われてしまい、それぞれの文章の違いをうまく見分けることができません。結果として、これらの文章を正しく分類することは難しくなります。

同様に、「王様」と「玉座」という単語を含む文章と、「社長」と「椅子」という単語を含む文章を分類する場合も考えてみましょう。単語一つ一つを独立した数値の並びに変換する方法では、「王様」と「玉座」の関係性、「社長」と「椅子」の関係性といった情報が失われてしまいます。「王様」は「玉座」に座り、「社長」は「椅子」に座る、といった常識的な知識を反映させることができないため、これらの文章を正しく分類することは困難です。

このように、単語一つ一つを独立した数値の並びに変換する方法は、単語の意味や単語同士の関連性を捉えるには不十分な表現方法と言えるでしょう。より高度な文章分類を行うためには、単語同士の関係性や文章全体の文脈を考慮できるような、より洗練された表現方法が必要となります。

他の表現方法との比較

言葉の意味をコンピュータで扱う方法の一つに、局所表現と呼ばれるものがあります。これは、例えば「りんご」という単語に固有の番号を割り当てるような、単純な表現方法です。しかし、この方法では「りんご」と「みかん」のような、意味的に近い言葉の関係性を捉えることができません。そこで、分散表現が登場します。

分散表現は、それぞれの言葉を複数の数値の組み合わせで表します。これをベクトルと呼びます。局所表現では一つの単語に一つの番号しか割り当てませんでしたが、分散表現では複数の数値を使うことで、言葉の意味をより豊かに表現できます。それぞれの数値は特定の意味を持っているわけではなく、複数の数値が組み合わさって全体として意味を表すところが、この表現の巧妙な点です。

例えば、「りんご」と「みかん」を分散表現で表すと、どちらも果物であるため、似たような数値の組み合わせになります。つまり、ベクトル空間上でこれらの言葉は近くに配置されるのです。一方、「りんご」と「机」のように意味が全く異なる言葉は、ベクトル空間上で遠く離れた位置に配置されます。この距離こそが、言葉の意味の近さを表しているのです。

このように、分散表現は言葉の意味の繋がりを捉えることができるため、局所表現に比べて多くの利点があります。例えば、文章の類似性を調べたり、言葉の意味を推測したりする作業が、より正確に行えるようになります。そのため、近年の自然言語処理技術において、分散表現は欠かせない存在となっているのです。

今後の展望

これまで、文章を機械に理解させるための重要な技術として、単語を数値で表す表現方法が研究されてきました。初期の手法として、単語をベクトルで表す方法である局所表現がありました。局所表現は、単語ごとに固有のベクトルを割り当てることで、単語の存在や頻度を捉えることができます。これは、例えば、ある文章に特定の単語が何回出てきたかを数えるといった処理に役立ちます。また、計算方法やプログラムへの組み込みも比較的簡単であるため、自然言語処理の入門として学ぶのに適しています。

しかし、局所表現だけでは、単語の意味を深く理解することはできません。例えば、「王様」と「女王様」は、どちらも位の高い人物を表す言葉ですが、局所表現ではこれらの言葉の関連性を捉えることが難しいです。また、ベクトルの次元数が非常に大きくなるため、計算に時間がかかったり、多くの記憶容量が必要になるといった問題もありました。

これらの問題を解決するために、近年では、分散表現と呼ばれる手法が主流となっています。分散表現では、単語の意味を、周囲の単語との関係性から捉えます。例えば、「王様」は「男性」や「支配」といった言葉と、「女王様」は「女性」や「統治」といった言葉とそれぞれ近い関係にあると捉えます。このように、単語の意味を文脈から学習することで、より精度の高い表現が可能になります。

とはいえ、局所表現にも利点があります。計算が単純で分かりやすいことから、特定の作業においては依然として有効です。例えば、ある単語が文章に含まれているかいないかを判断するような単純な作業では、局所表現で十分な場合があります。

今後、自然言語処理技術がさらに発展していく中で、局所表現と分散表現のそれぞれの長所を組み合わせた、新たな表現方法が開発されることが期待されています。それぞれの表現方法の得意な点と不得意な点を理解し、状況に応じて適切な表現方法を選ぶことが、より高度な自然言語処理を実現する鍵となるでしょう。