DL

출처 : DSBA 유투브, 이유경님 발표 Seq2SeqNeural Machine TranslationEncoder - Decoder 구조의 모델 (RNN 기반의)Attention + Seq2SeqNeural Machine TranslationDecoder가 Source Sentence 의 중요한 정보에 집중하게 하자.TransformerNeural Machine TranslationSelf Attention, Multi-Head AttentionGPT - 1Task AgnosticTransformer Decoder Block언어 자체를 이해할 수 있는 좋은 Representation을 학습해보자!Pre training을 맞춘 뒤, Fine Tuning을 통해 Task를 다뤄보자 라고 제안.BERTTask..

출처 링크데이터 확인df = pd.read_csv('파일 경로')df.head(n)df.tail(n)df.columnsdf.shapedf.info() # 열 정보, Null 개수, 열 타입, 사이즈 등의 데이터 프레임 정보df.describe() # 수치형 변수에 대한 통계 정보df.isnull().sum() # Null 데이터 확인df[열 이름].value_counts(normalize = False/True) # 범주형 변수에 대한 각 범주별 빈도수df.select_dtypes(type) # 해당하는 열만 데이터 프레임 형태로 확인  데이터 전처리df.drop(axis=0/1, inplace = False/True)df.replace({'바꾸고자 하는 값': '바뀌는 값'}, inplace ..

출처 : https://coding-yesung.tistory.com/223 Import 하기import torchimport torch.nn as nnimport torch.optim as optimimport torchvision.datasets as datasetsimport torchvision.transforms as transformsimport matplotlib.pyplot as pltfrom torch.utils.data import DataLoader cuda 데꼬오기device = 'cuda' if torch.cuda.is_available() else 'cpu'print(device) 데이터 불러오기train_data = datasets.MNIST( root = 'data', ..

Entropy에 대해 설명해주세요.정보량$$ I(X)=log_b\big(\frac{1}{P(X)}\big)=-log_bP(X) $$엔트로피$$ H(P)=-\sum_iP(i)logP(i) $$더보기확률 변수의 Entropy란 평균 정보량을 의미합니다. 놀라움의 평균, 불확실성의 평균 이라고도 표현합니다. * 저 스스로는 정보량에 대해 이해하기를, 특정 사건을 다루기 위해 쓰여야하는 비용 정도로 이해했습니다.가령 비가 내리는 것을 보고 우리는 "비가 내린다." 라고 표현하면 되지만, 비를 난생 처음 본 사람들은 "하늘에서 물방울들이 무리지어, 시간적 딜레이가 거의 없이, 지속적으로 내렸다. 하늘은 꺼멓게 되었고, 귓가에 물방울이 땅에 부딪혀 튀기는 소리가 사방에서 들렸고, 도로에는 물이 조금씩 차올랐는데, ..