부스트캠프

D-40.. 생존 신고 배운 내용들 깃헙에 빈 폴더는 생성이 안되더라 commit 기록 덮어 씌우는 법 우리 팀은 github flow을 채택하였고, 이슈 당 브런치를 하나씩 만들며 최대한 local 과 remote간에 차이가 없겠끔 작업하였다. 따라서 commit 기록을 강제로 덮어씌우는 다음의 행동이 용이했음을 밝힌다. ( 어차피 내 브런치는 나만 커밋 하므로 ) 그리고 commit 기록 수정할 때, 에디터 통해 수정하면 # 이 주석으로 인식되기 때문에 cli 에서만 footer 적용이 제대로 됐었다. ( footer 는 #이슈번호 로 하기로 정했었다.) wandb wandb는 5명까지 무료로 사용할 수 있다. 값은 숫자를 넘겨야 pannel에 그림을 그릴 수 있더라. epoch 를 step으로 해서..

안녕하세요. 4주차 회고 입니다. 이번주 나의 다짐이 TJ이었던 이유는 지금 보다 계획적으로 체계적이게 살고 싶기 때문입니다. ENFP 보다는 ENTJ가 좀 더 갓생 살지 않을까 싶어서 저렇게 적어봤습니다. ENTJ 호소인이 되겠습니다. 회고 드디어 NLP, CV, Resys에 대한 강의가 열렸습니다. 도메인이 나뉘어지면서 본격적인 캠프가 시작된것 같네요. 이번주 저는 개인적으로 과제가 너무나도 마음에 들었던 주 였습니다. 코드를 직접 찾아보며 타이핑해볼 수 있었고, 파이토치가 조금 더 친숙해진 느낌이었어요. 강의 관련 오늘 스페셜 피어세션 (다른 팀원분들과 랜덤으로 만나 대화할 수 있었던 세션)에서 여쭤보니 다들 강의 하나를 1시간 내외로 들으시더라구요? 강의 하나 당 저는 3시간 ~ 4시간 걸려서 들..

Transformer Transformer https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, jalammar.github.io Generative Models B..

Hyperparameter Tuning 크게 3가지, model, data, Hyperparameter Tuning 모델 스스로 학습하지 않는 값에 대해 사람이 지정 learning rate, 모델의 크기, optimizer, etc.. cf) NAS, AutoML 하이퍼 파라메터에 의해 값이 크게 좌우 될 때도 있음 2015, 2016, 구글의 recipe 대로 안하면 성능이 떨어졌던 때 근래는 데이터가 너무 많기 때문에 일반 기업에서도 하기 어려운 감이 있음. 대회에서 마지막 0.01을 쥐어짜야 할 때, 도전해볼만 하다. 이미 어느정도 성능 나올 때! Distillation (디스틸레이션), 모델을 압축하거나 가볍게 만드는 기법 큰 모델(선생 모델)의 지식을 더 작고 간단한 모델(학생 모델)에 전달하..