트랜스포머 이후, 세상은 바뀌었다!
< ATT: After The Transformer > 는
트랜스포머 기반 유명 모델 7개를
이론부터 구현까지 낱낱이 파헤쳐보는 강의입니다!

✅ '최신 딥러닝 모델: GPT, BERT, ViT, Swin Transformer, ConvNeXt 파이토치 구현 프로젝트'로 여러분 포트폴리오를 더욱 빛나게!
✅ 실습에선 AI Hub의 문장 데이터, KoBERT 토크나이저 사용!
✅ 라이브 못 오시는 날은 녹화본 제공! 
✅ 녹화본으로만 수강하시는 것도 가능합니다! (평생 수강 가능)

📌 장소: 줌 미팅
📌 일시: 3일간 세 시간 30분씩, 총 10시간 30분
+ 질문 시간 n시간까지 실질적으로 12시간 정도의 강의로 보시면 됩니다!
📌 정확한 날짜는 아래 버튼 클릭!

📌 교육비: 17.9 만원
- 견적서, 영수증, 수료증, 거래명세서 발급 가능합니다.
- 재수강은 반값 할인!

✔ 첫날에 강의 자료 pdf와 코드 전체를 드려요!
✔ 구현은 구글 코랩, 파이토치로 진행
✔ 기수 별 단톡방 개설, 예/복습할 수 있는 영상을 공유드리는 <혁펜하임 오마카세>
✔ 단톡방 통해서 (수업 내용 관련해서는) 평생 질문 가능
✔ 한 시간마다 2-3명씩 돌아가며 집중케어
(마이크 사용이 가능한 환경인 분들에 한함)
(참여 유도 & 질문이 자유로운 분위기 조성)

※ 아래 수업을 듣지 않고 이 수업을 참여하시면 바보로 느껴질 수 있습니다.

✅ LEVEL 0
- AI를 위한 기초 수학 (무료 공개!)
- 인스톨! 파이썬 (무료 공개!)

✅ LEVEL 1
- Easy! 딥러닝 (무료 공개!)
- 인스톨! 파이토치

✅ LEVEL 2
- Legend 13
- TTT: To The Transformer (가장 필수적!)

물론, 위 수업들에서 다루는 내용들을
이미 따로 공부하셨다면
문제 없이 수강 가능하십니다!

⭐ 가급적 TTT 들은 분들만 수강 부탁드립니다.
⭐ TTT 수강하신 분들도 복습 한 바퀴 돌리고 오셔야 따라오실 수 있어요

0. 트랜스포머 리뷰

1. GPT-1 (2018.06)
 - GPT가 언어를 이해하는 법: Next Token Prediction
 - GPT는 어떻게 단어를 '생성'할까?
 - GPT-1의 Pre-training 과 Fine-tuning
 - GELU에 대해
 - SNLI, Stroy Cloze, QQP 등 12개의 데이터셋 예시와 함께 총정리
 - 성능 평가 및 Ablation Study

2. BERT (2018.10)
 - Masked Token Prediction
 - Next Sentence Prediction
 - Segment Embedding
 - BERT의 Pre-training 과 Fine-tuning
 - ROUGE-L score란?
 - BERT가 주관식 문제를 푸는 방법
 - 성능 평가 (GLUE, SQuAD, SWAG)
 - 4개의 Ablation Study
 - ⭐실습) 내 손으로 직접 BERT 만들기

3. GPT-2 (2019.02)
 - GPT-1 과의 차이점
 - Zero-shot 이란?
 - 구조의 변화
 - Partial Scoring 과 Full Scoring
 - CoQA 등 새롭게 등장하는 7개의 데이터셋 총정리
 - 성능 평가 및 분석 (CBT, LAMBADA, WSC 등..)
 - Data Contamination 이슈
 - ⭐실습) 내 손으로 직접 GPT 만들기

4. GPT-3 (2020.05)
 - GPT-2 와의 차이점
 - Few-shot 이란?
 - Locally Banded Attention
 - Pre-training을 위한 데이터셋 정리
 - 모델이 클수록..
 - 새롭게 등장한 21개의 데이터셋 예시와 함께 완벽 정리
 - 위의 데이터셋들에 대한 성능 평가
 - 다중 분류에서 F1-score 구하기
 - 이게 되네? (1) - Learning Novel Words
 - 이게 되네? (2) - 영어 문법 교정
 - Data contamination analysis

부록 - 요즘 나오는 애들은 어떤 데이터셋으로 평가하나?
 - Claude 3, LLaMA 3, Grok-1.5 Vision
 - MMLU, GPQA, HumanEval, GSM8K, MATH, MMMU

5. ViT (2020.10)
 - Patch Embedding Vector
 - CNN과의 비교: CNN의 inductive bias
 - ViT 구조와 동작 방식
 - ViT 수식 분석
 - ViT의 pre-training 과 fine-tuning
 - JFT, VTAB 등 7개 이미지 데이터셋 총정리
 - BiT와 Noisy Student
 - 성능 비교 결과 분석 1,2,3,4
 - 흥미로운 실험 1,2,3,4,5
 - ⭐실습) ViT 구현 및 CIFAR-10 학습

6. Swin Transformer (2021.03)
 - Patch Merging
 - Shifted Windows
 - 연산량 유도 및 비교 분석
 - SW-MSA 완벽 이해
 - Cyclic Shift 이해
 - Reverse Cyclic Shift
 - Relative Position Bias
 - 전체 구조 분석
 - 성능 비교
 - Ablation Study
 - ⭐실습) Swin Transformer 구현

7. ConvNeXt (2022.01)
 - Stage Ratio 변화 + "Patchify" stem
 - ResNeXt-ify
 - Inverted Bottleneck
 - Large kernel
 - Micro Design (Seperated Downsampling 등)
 - Beta distribution 에 대해
 - 새로운 augmentation 기법들 총정리
(randaugment & mixup & cutmix & random erasing)
 - Layer-wise LR decay, layer scale, EMA 등 현대적인 기법들 설명
 - 성능 비교
 - EfficientNetV2 에 대해 정리
(Progressive learning, 구조 변화 등)
 - ⭐실습) ConvNeXt 구현

📌 GPT-2, BERT, ViT, Swin Transformer, ConvNeXt
5개 모델에 대해 모델 구현하며
특히, GPT-2, BERT, ViT 는 
모델 구현 코드와 더불어
훈련(from scratch) 및 테스트 코드까지
포함되어 있습니다!
(Swin, ConvNeXt 에 대해서도 그대로 적용 가능)

✔ 단순히 깃허브에서 긁어온 코드가 아닙니다.
이해하기 쉽도록 새롭게 다시 짰습니다.

이놈의 ATT...
너무나 많은 분께서
정말 많이 기다려주셨습니다..
저 역시도 최고의 강의를 만들어 드리고 싶어
약 1년간의 제작 기간 끝에 드디어!
정말 자신 있게 여러분 앞에 선보일 수 있게 됐습니다.

오래 기다리셨습니다!
이제 ATT와 함께 딥러닝 동네에서 제대로 놀아봅시다!!

그 어떤 블로그 설명보다 더 자세하도록 자료를 만들었고,
그 어떤 github 코드보다 더 이해하기 쉽도록 코드를 짰습니다.

혼자 여기저기 검색해 가며 공부하시느라
시간은 시간대로 깨지고 
고생은 고생대로 하지 마시고
이 강의 하나로 끝내십시오.

ATT를 바탕으로 자료를 만들어 대기업에 강의를 나간 강사님이 있다는 제보를 받았습니다.

얼마나 비슷한지, 직접 보여드리는 게 좋을 것 같아 대조 자료를 첨부합니다.

사실, 제 강의를 보시고 다른 사람들에게 알려주는 건 너무나 기쁘고 감사한 일입니다. 

하지만, 돈 받고 강의까지 하시려면 거기에 본인만의 "무언가"가 들어가야죠..

제 해석을 비판적 사고 없이 듣고 앵무새처럼 그대로 다른 사람들에게 전달하는 건 그저 강의 도둑질이라고 생각합니다.

강사도 훔치고 싶어하는 강의!
ATT 입니다 ㅎㅎ