전체 글

LLM 선수 지식 Transformer Encoder 계열 모델Masked Language Model (MLM)Seqence 에서 토큰 일부를 무작위로 선택하여 가리고, 모델이 가려진 단어를 예측하는 방식Contextual 정보를 활용하여 단어의 의미를 더 깊이 이해하도록 돕습니다. ( BERT ) 셀프 어텐션 (Self-Attention)쿼리에 대해서, 토큰 스스로를 포함하여 키와 벨류를 어텐션하는 방식 Transformer Decoder 계열 모델Casual Language ModelAutoRegressive 방식입력 시퀀스로부터 토큰을 하나씩 생성하며, 생성된 토큰을 입력에 포함하여 다음 토큰을 예측합니다.다시 말해서, 현재 시점까지의 토큰을 고려하여 다음 토큰을 예측하고, 마스킹으로 미래 토큰 정..

https://www.youtube.com/live/ejZ9XAm7jck발표자 : 이승유님LLM API 를 어디서 쓰시는지Deep InfraTogether AI LLM에서 Validation 전략다양한 도메인에서, 다양한 테스크를 직접 선택하여 validation을 가져감Lora 기준 1000개 정도. 충분히 수많은 도메인, 어려운 테스크 담을 수 있어서Val Loss 정보 가지고 감을 잡을 수 있다.30만개를 학습시킨다고 하면, 만 개 정도 쓰면 될 것 같은데, 저라면 하이퀄리티로 천개 만들어 쓸것 같아요.평가 내용더보기Comprehensive Korean BenchmarksKMMLU, HAERAE-BenchCommon Reasoning Hellaswag, Winogrande, PIQA, ARC, Co..

🌮한 주의 총평- 어쩌면 나는 한달 회고를 쓰고 있는 것이 아니었을까? 🌯 Keep1. Upstage 채용 연계형 인턴쉽을 진행하고 있고, 온보딩 과정을 밟고 있다.- 정신이 없어서 채용 리뷰를 적지 못했는데 현재 온보딩 2주차가 끝난 상황이다.- 온보딩은 앞으로 2주가 더 남았고, 그 뒤로는 실무 투입이다. 후하후하후하 2. 매주 논문 스터디를 진행하고 있다.- 저저저저번주에 리뷰한 논문은 CLIP- 저저저번주에 리뷰한 논문은 Tree of Thought- 저저번주에 리뷰한 논문은 Switch Transformer- 저번주에 리뷰한 논문은 BERT- 이번주에 리뷰한 논문은 BART 3. 수영 월 수 금 반을 다녔다.- 킥판, 사이드킥을 거쳐 현재 킥판 없이 수영하기 단계에 있다. 🌯 Problem..

출처 : DSBA 유투브, 이유경님 발표 Seq2SeqNeural Machine TranslationEncoder - Decoder 구조의 모델 (RNN 기반의)Attention + Seq2SeqNeural Machine TranslationDecoder가 Source Sentence 의 중요한 정보에 집중하게 하자.TransformerNeural Machine TranslationSelf Attention, Multi-Head AttentionGPT - 1Task AgnosticTransformer Decoder Block언어 자체를 이해할 수 있는 좋은 Representation을 학습해보자!Pre training을 맞춘 뒤, Fine Tuning을 통해 Task를 다뤄보자 라고 제안.BERTTask..