Attentionとは

重要なものに注目する

Attentionは、文中の各単語を処理する際に関連する単語に注目させるメカニズムです。 テキストの最も重要な部分をハイライトするようなものと考えてください。

各単語に対して、Attentionは他のすべての単語にどれだけ「注意を払う」べきかを示す 重みのセットを計算します。これらの重みは：

• 0から1の範囲
• 合計が1になる（確率分布のように）
• 重みが高い = より関連性が高い

試してみよう：単語をクリック

理解への貢献

「I went to the bank to deposit money」の「bank」を処理する際、 Attentionは「deposit」や「money」などの単語に高い重みを割り当てます。 これらの単語が「bank」が金融機関を意味することを決定する文脈を提供します。

「I sat on the river bank」では、Attentionは「river」や「sat」に注目し、 「bank」の異なる理解につながります。