< TTT: To The Transformer >는 오직 
🔥트랜스포머🔥만을 위해,
🔥트랜스포머🔥를 향해 달려가는 강의입니다!!

✅ 트랜스포머의 이론부터 모델 구현/훈련/테스트(평가)까지 다룹니다.
✅ 실습에선 AI Hub의 문장 데이터, 허깅페이스의 토크나이저 사용!
✅ '한->영 번역기 제작 프로젝트'로 여러분 포트폴리오를 더욱 빛나게!
✅ 라이브 못 오시는 날은 녹화본 제공! 
✅ 녹화본으로만 수강하시는 것도 가능합니다!

📌 장소: 줌 미팅
📌 일시: 2 일간 세 시간 30분 씩, 총 7시간
+ 질문 시간 n 시간까지 실질적으로 8시간 정도의 강의로 보시면 됩니다!
📌 정확한 날짜는 아래 버튼 클릭!

📌 교육비: 8.9 만원
- 견적서, 영수증, 수료증, 거래명세서 발급 가능합니다.
- 재수강은 반값 할인!

✔ 첫날에 강의 자료 pdf와 코드 전체를 드려요!
✔ 구현은 구글 코랩, 파이토치로 진행
✔ 기수 별 단톡방 개설, 예/복습할 수 있는 영상을 공유드리는 <혁펜하임 오마카세>
✔ 단톡방 통해서 (수업 내용 관련해서는) 평생 질문 가능
✔ 한 시간마다 2-3명씩 돌아가며 집중케어
(마이크 사용이 가능한 환경인 분들에 한함)
(참여 유도 & 질문이 자유로운 분위기 조성)

※ 아래 수업을 듣지 않고 이 수업을 참여하시면 바보로 느껴질 수 있습니다.

✅ LEVEL 0
- AI를 위한 기초 수학 (무료 공개!)
- 인스톨! 파이썬 (무료 공개!)

✅ LEVEL 1
- Easy! 딥러닝 (무료 공개!)
- 인스톨! 파이토치

물론, 위 수업들에서 다루는 내용들을
이미 따로 공부하셨다면
문제 없이 수강 가능하십니다!

< 이론: 트랜스포머 내 것으로 만들기 >
Chapter 0 – RNN 리뷰
- RNN의 동작 방식
  - 이 방식을 통해 얻는 효과 2가지
- RNN: 행렬, 벡터로 5분 만에 이해하기
- RNN의 학습 방식과 backpropagation 수식
- RNN의 구조적 한계의 직관적 이해
- seq2seq의 개념 및 동작 방식
- seq2seq의 문제점과 attention 개념
- RNN + attention의 문제점과 트랜스포머의 self-attention
- Beautiful insights for RNN 
  (왜 RNN보다 트랜스포머인가?)

Chapter 1 – The first stage
- Input shape은 "개단차"
- Input Embedding
- Positional Embedding
- Positional Encoding
- 근데 왜 순서 정보가 중요할까요?

Chapter 2 – Encoder
- 트랜스포머가 학습하는 layer는?
- Query, Key, Value 직관적으로 이해하기
- self-attention: 행렬과 행렬의 곱으로
- self-attention 결과 분석
- Multi-head attention
  - MHA 직관적으로 이해하기
- Encoder 전체 구조

Chapter 3 – Decoder
- Masked self-attention
- Encoder-Decoder attention
- The last stage

Chapter 4 – 분석과 평가
- 트랜스포머의 추론 step by step
- 트랜스포머는 결국 ____를 학습하는 것!
- Skip-connection 과 트랜스포머
- 트랜스포머의 비선형성
- 번역에서 Accuracy를 쓸 수 없는 이유
- Perplexity
  - n-gram PPL
- BLEU score
  - 예시 문장으로 이해하는 n-gram precision
  - 왜 n-gram을 써야하는가
  - Brevity penalty의 개념과 필요한 이유
  - One More Thing..
- 트랜스포머 최종 성능 표 분석
- 트랜스포머 이론 파트 Summary

< 실습: 한->영 번역기 만들기 from scratch! >
- 허깅페이스의 토크나이저 써보기
  - BPE (Byte Pair Encoding) 란?
- 사전 학습된 MarianMTModel 사용해보기
- AI Hub 대화 데이터
  - 데이터셋 만들기
  - 데이터로더 만들기
- 트랜스포머 모델 구현
  - MHA 구현
    - ⭐einops의 rearrange로!
  - Encoder 구현
    - nn.Embedding 의 동작 원리
  - Decoder 구현
  - mask 구현
  - 전체 모델 구현
- 훈련, 테스트, 검증 코드 구현
- Noam scheduler 구현
- Cos scheduler
- translation 함수 구현
- attention map 그려보고 분석하기
- Perplexity 와 BLEU score
- 내가 만든 번역기 써보기

트랜스포머..!
말이 필요 없는 최고의 모델입니다.
인터넷에 수많은 설명들이 있지만,
정말 직관적으로 딱 와닿는 설명은 찾기 어렵습니다.
'무릎을 탁! 치게 만드는 강의' 
라고 자신 있게 추천드립니다!

그 어떤 블로그 설명보다 더 자세하도록 자료를 만들었고,
그 어떤 github 코드보다 더 이해하기 쉽도록 코드를 짰습니다.
몇 달 동안 정말 공을 들여 만든 자료들이니 100% 만족하실 겁니다!

혼자 여기저기 검색해 가며 공부하시느라
시간은 시간대로 깨지고 
고생은 고생대로 하지 마시고
이 강의 하나로 끝내십시오.