Gemini、Llama、GPTといったモデルの学習の中核には、情報理論から借用した概念である交差エントロピーが存在する。Machine Learning Masteryで公開された記事は、この不確実性の測定に関連する概念が、大規模言語モデル(LLM)が次の単語を予測する方法をどのように説明するかを示している。
驚きを測定する
情報エントロピーは1948年、クロード・シャノンの研究から生まれた。これは確率分布に含まれる不確実性、あるいは「驚き」を測定するために用いられる。記事では2つのサイコロを例に挙げている。1つ目は完全に均等で、各投げは予測不可能であり、エントロピーは高い。2つ目は6の目が出やすいように強く重み付けされており、結果はめったに驚きをもたらさず、エントロピーは低い。使用される式は次の通り:H(P) = – Σ P(x) log₂ P(x)。これはすべての確率が等しい場合、つまり最初のサイコロのような一様分布の場合に最大値に達する。いくつかの結果が他から際立つほど、エントロピーは減少する。
モデルが次の単語を推測するとき
LLMは単語ごと、より正確にはトークンごとにテキストを生成する。トークンはモデルが操作するテキストの単位である。各ステップで、その最終層は通常数万語を含む語彙の各要素に確率を割り当てる。モデルが迷っている場合、分布は広がり、エントロピーは高い。モデルが非常に自信を持っている場合、特定の単語(例えば「the cat sat on the…」という文における「tatami」)に非常に高い確率を割り当て、エントロピーは低い。ここで学習を導くために使用される損失関数である交差エントロピーが介入する。これはモデルによって予測された分布を、実際に観察された単語に100%、他のすべての単語に0%を割り当てる実際の分布と比較する。この値を最小化することは、モデルの信頼を徐々に正しい単語に向けて収束させることに相当する。記事は、このプロセスが数百万または数十億の例で繰り返されることで、モデルが一貫した応答を生成することを学ぶことができると強調している。
Pythonでの例
記事は軽量なスクリプトを提案しており、実際のLLMをロードせずに交差エントロピーの動作を説明する。語彙は「apple」、「banana」、「cat」、「dog」、「elephant」の5つの単語に限定されている。ターゲット単語は「cat」である。3つの予測が比較される:「Confident & Correct」は「cat」に0.90を割り当てる;「Confident & Wrong」は「apple」に0.80を与える;そして「Uncertain (Flat)」は確率を5つの単語に均等に0.20ずつ分配する。結果はPlotlyライブラリを使用したインタラクティブな棒グラフとして表示される。著者によると、3番目の予測はモデルが完全に不確実であるため、最大エントロピーに対応する。2番目の予測は非常に自信があるが間違っており、高い交差エントロピーとして現れる。記事は、学習中に交差エントロピーを減らそうとする際、不確実性と誤りの2つの状況が同時に扱われることを指摘している。
