![]()
https://www.youtube.com/live/ejZ9XAm7jck발표자 : 이승유님LLM API 를 어디서 쓰시는지Deep InfraTogether AI LLM에서 Validation 전략다양한 도메인에서, 다양한 테스크를 직접 선택하여 validation을 가져감Lora 기준 1000개 정도. 충분히 수많은 도메인, 어려운 테스크 담을 수 있어서Val Loss 정보 가지고 감을 잡을 수 있다.30만개를 학습시킨다고 하면, 만 개 정도 쓰면 될 것 같은데, 저라면 하이퀄리티로 천개 만들어 쓸것 같아요.평가 내용더보기Comprehensive Korean BenchmarksKMMLU, HAERAE-BenchCommon Reasoning Hellaswag, Winogrande, PIQA, ARC, Co..
🌮한 주의 총평- 어쩌면 나는 한달 회고를 쓰고 있는 것이 아니었을까? 🌯 Keep1. Upstage 채용 연계형 인턴쉽을 진행하고 있고, 온보딩 과정을 밟고 있다.- 정신이 없어서 채용 리뷰를 적지 못했는데 현재 온보딩 2주차가 끝난 상황이다.- 온보딩은 앞으로 2주가 더 남았고, 그 뒤로는 실무 투입이다. 후하후하후하 2. 매주 논문 스터디를 진행하고 있다.- 저저저저번주에 리뷰한 논문은 CLIP- 저저저번주에 리뷰한 논문은 Tree of Thought- 저저번주에 리뷰한 논문은 Switch Transformer- 저번주에 리뷰한 논문은 BERT- 이번주에 리뷰한 논문은 BART 3. 수영 월 수 금 반을 다녔다.- 킥판, 사이드킥을 거쳐 현재 킥판 없이 수영하기 단계에 있다. 🌯 Problem..
![]()
출처 : DSBA 유투브, 이유경님 발표 Seq2SeqNeural Machine TranslationEncoder - Decoder 구조의 모델 (RNN 기반의)Attention + Seq2SeqNeural Machine TranslationDecoder가 Source Sentence 의 중요한 정보에 집중하게 하자.TransformerNeural Machine TranslationSelf Attention, Multi-Head AttentionGPT - 1Task AgnosticTransformer Decoder Block언어 자체를 이해할 수 있는 좋은 Representation을 학습해보자!Pre training을 맞춘 뒤, Fine Tuning을 통해 Task를 다뤄보자 라고 제안.BERTTask..
출처 링크데이터 확인df = pd.read_csv('파일 경로')df.head(n)df.tail(n)df.columnsdf.shapedf.info() # 열 정보, Null 개수, 열 타입, 사이즈 등의 데이터 프레임 정보df.describe() # 수치형 변수에 대한 통계 정보df.isnull().sum() # Null 데이터 확인df[열 이름].value_counts(normalize = False/True) # 범주형 변수에 대한 각 범주별 빈도수df.select_dtypes(type) # 해당하는 열만 데이터 프레임 형태로 확인 데이터 전처리df.drop(axis=0/1, inplace = False/True)df.replace({'바꾸고자 하는 값': '바뀌는 값'}, inplace ..
