こんにちは。秋田県のIT企業、北日本コンピューターサービスのR&Dチーム「AUL(アウル)」に所属しています。トラフクロウです。 今回が初の投稿になりますので、内容については広い心で眺めていただけるとうれしいです。 この記事はTransformer(トランスフォーマー)について僕が勉強した内容をまとめたものになっています。 トランスフォーマーが紹介された論文「Attention Is All You Need」を読んで僕が気になった部分や疑問に感じた部分をまとめました。 僕がトランスフォーマーについて勉強しようと考えたきっかけは仕事で自然言語処理AIを使ったことです。 社会人になって最初に配属されたプロジェクトではトランスフォーマーから派生したBERT(バート)というAIを使っていました。当時指導してくれた先輩いわく「バートは文章をベクトルにしてくれて、意味どうしの計算ができるんだよ」との

