전체 글

Transformer Transformer https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, jalammar.github.io Generative Models B..

인공지능? 머신러닝? 딥러닝? A Historical Review chatgpt 시대 이전, 딥리닝의 패러다임슈트에 대해 알아보자. NNs Loss Functions 딥러닝 용어 Gradient Descent Optimizer Regularization 출처 : boostcamp 최성준 교수님 강의 내용 공부 및 정리 가중치 초기화 https://callmescone.tistory.com/365 가중치 초기화 (Weight Initialization) Weight decay Parameter Norm Penalty Overfitting 방지 Weight 를 작게 유지하여 Function Space를 Smooth 하게 함.( For Generalization Performance ) 작게 유지? 가중치의 ..

회고 전체 네이버 부스트캠프 일정 가운데 10%가 지났습니다. 벌써부터 너무 아쉬운 느낌이에요. week2는 Pytorch가 주제였습니다. 이전 직장에서 깃헙 라이브러리를 하나하나 뜯으면서 분석했었는데, 그때 봤던 클래스나 메소드가 이런 의미였구나 하며 공부할 수 있었습니다. 기본을 다지고 싶어서 퇴사 후 네부캠에 들어오게 된건데, 제가 생각한 대로의 학습을 하고 있어서 너무나 만족스럽습니다. 네부캠에 뛰어나신 분들이 참 많으신대, pytorch 가 익숙한 캠퍼분들에 비해 제가 많이 부족한 것 같아서 더 많이 작성해보고, 연습해보고 싶네요.. 주말에는 미처 해결하지 못한 심화 과제를 풀어보고, 기본 과제와 실습을 다시 진행하면서, 파이토치에 익숙해지려는 시간을 가질 예정입니다. 강의 관련 https://..

Hyperparameter Tuning 크게 3가지, model, data, Hyperparameter Tuning 모델 스스로 학습하지 않는 값에 대해 사람이 지정 learning rate, 모델의 크기, optimizer, etc.. cf) NAS, AutoML 하이퍼 파라메터에 의해 값이 크게 좌우 될 때도 있음 2015, 2016, 구글의 recipe 대로 안하면 성능이 떨어졌던 때 근래는 데이터가 너무 많기 때문에 일반 기업에서도 하기 어려운 감이 있음. 대회에서 마지막 0.01을 쥐어짜야 할 때, 도전해볼만 하다. 이미 어느정도 성능 나올 때! Distillation (디스틸레이션), 모델을 압축하거나 가볍게 만드는 기법 큰 모델(선생 모델)의 지식을 더 작고 간단한 모델(학생 모델)에 전달하..