전체 글

회고 어제보다 더 쫓기는 오늘입니다. 이번주는 수요일부터 몸살 감기가 와서 너무 힘들었어요. 한편으로는 대회 안할 때 미리 아파서 다행이긴 한데 얼른 나았으면 좋겠네요. 글을 쓰는 지금도 정신이 혼미하네요 이번주 수업은 딥러닝 베이직과 Data Viz였습니다. 강의 관련 https://callmescone.tistory.com/365 가중치 초기화 (Weight Initialization) Weight decay Parameter Norm Penalty Overfitting 방지 Weight 를 작게 유지하여 Function Space를 Smooth 하게 함.( For Generalization Performance ) 작게 유지? 가중치의 초깃값을 0으로 설정하면 어떨까? Zero Initializat..

Transformer Transformer https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments) Translations: Arabic, Chinese (Simplified) 1, Chinese (Simplified) 2, French 1, French 2, Italian, Japanese, Korean, Persian, Russian, Spanish 1, Spanish 2, jalammar.github.io Generative Models B..

인공지능? 머신러닝? 딥러닝? A Historical Review chatgpt 시대 이전, 딥리닝의 패러다임슈트에 대해 알아보자. NNs Loss Functions 딥러닝 용어 Gradient Descent Optimizer Regularization 출처 : boostcamp 최성준 교수님 강의 내용 공부 및 정리 가중치 초기화 https://callmescone.tistory.com/365 가중치 초기화 (Weight Initialization) Weight decay Parameter Norm Penalty Overfitting 방지 Weight 를 작게 유지하여 Function Space를 Smooth 하게 함.( For Generalization Performance ) 작게 유지? 가중치의 ..

회고 전체 네이버 부스트캠프 일정 가운데 10%가 지났습니다. 벌써부터 너무 아쉬운 느낌이에요. week2는 Pytorch가 주제였습니다. 이전 직장에서 깃헙 라이브러리를 하나하나 뜯으면서 분석했었는데, 그때 봤던 클래스나 메소드가 이런 의미였구나 하며 공부할 수 있었습니다. 기본을 다지고 싶어서 퇴사 후 네부캠에 들어오게 된건데, 제가 생각한 대로의 학습을 하고 있어서 너무나 만족스럽습니다. 네부캠에 뛰어나신 분들이 참 많으신대, pytorch 가 익숙한 캠퍼분들에 비해 제가 많이 부족한 것 같아서 더 많이 작성해보고, 연습해보고 싶네요.. 주말에는 미처 해결하지 못한 심화 과제를 풀어보고, 기본 과제와 실습을 다시 진행하면서, 파이토치에 익숙해지려는 시간을 가질 예정입니다. 강의 관련 https://..