🌐 サイト
The Illustrated Transformer(Jay Alammar)
Transformerの仕組みをアニメーションと図で徹底解説した伝説的ブログ記事。世界中のAI研究者が「これで理解した」と言う必読記事。
jalammar.github.io →
🔵 中級
📄 論文
Attention Is All You Need(原論文)
Vaswani et al., Google(2017)
Transformerを提案した歴史的論文。意外と読みやすく8ページ。第14章を学んだ後なら数式の意味がわかるはず。
arxiv.org →
🔴 上級
🎓 コース
Hugging Face NLP Course
TransformerライブラリのHugging Faceが提供する無料NLPコース。Tokenizer・モデル・Fine-tuningを実際にコードで学べる。
huggingface.co/learn →
🔵 中級
▶️ 動画
Andrej Karpathy — Let's build GPT from scratch
元OpenAIのAndrej KarpathyがPythonでGPTをゼロから実装する2時間動画。Transformerの実装を完全に理解できる世界最高の教材の一つ。
YouTube: Karpathy GPT →
🔴 上級