第2章関連

Transformer・Attention対策

Transformer、Self-Attention、位置エンコーディングを初学者向けに整理します。

このテーマで押さえること

  • 用語の意味を一文で説明できる
  • 似た用語との違いを説明できる
  • 生成AIパスポートの出題範囲の中で、どの章と関係するかを理解する
  • 実務上の注意点やリスクと結び付けて説明できる

関連する重要用語

Transformer

Attentionを使い、文脈内の重要な関係を捉える深層学習モデルです。

Attention Mechanism

入力情報のうち、どこに注目すべきかを計算する仕組みです。

Self-Attention

入力内の語同士の関係を捉えるAttentionの仕組みです。

位置エンコーディング

Transformerに語順情報を与えるための仕組みです。