출처 링크데이터 확인df = pd.read_csv('파일 경로')df.head(n)df.tail(n)df.columnsdf.shapedf.info() # 열 정보, Null 개수, 열 타입, 사이즈 등의 데이터 프레임 정보df.describe() # 수치형 변수에 대한 통계 정보df.isnull().sum() # Null 데이터 확인df[열 이름].value_counts(normalize = False/True) # 범주형 변수에 대한 각 범주별 빈도수df.select_dtypes(type) # 해당하는 열만 데이터 프레임 형태로 확인 데이터 전처리df.drop(axis=0/1, inplace = False/True)df.replace({'바꾸고자 하는 값': '바뀌는 값'}, inplace ..
DL/Basic
출처 : https://coding-yesung.tistory.com/223 Import 하기import torchimport torch.nn as nnimport torch.optim as optimimport torchvision.datasets as datasetsimport torchvision.transforms as transformsimport matplotlib.pyplot as pltfrom torch.utils.data import DataLoader cuda 데꼬오기device = 'cuda' if torch.cuda.is_available() else 'cpu'print(device) 데이터 불러오기train_data = datasets.MNIST( root = 'data', ..
Entropy에 대해 설명해주세요.정보량$$ I(X)=log_b\big(\frac{1}{P(X)}\big)=-log_bP(X) $$엔트로피$$ H(P)=-\sum_iP(i)logP(i) $$더보기확률 변수의 Entropy란 평균 정보량을 의미합니다. 놀라움의 평균, 불확실성의 평균 이라고도 표현합니다. * 저 스스로는 정보량에 대해 이해하기를, 특정 사건을 다루기 위해 쓰여야하는 비용 정도로 이해했습니다.가령 비가 내리는 것을 보고 우리는 "비가 내린다." 라고 표현하면 되지만, 비를 난생 처음 본 사람들은 "하늘에서 물방울들이 무리지어, 시간적 딜레이가 거의 없이, 지속적으로 내렸다. 하늘은 꺼멓게 되었고, 귓가에 물방울이 땅에 부딪혀 튀기는 소리가 사방에서 들렸고, 도로에는 물이 조금씩 차올랐는데, ..
딥러닝에서 Loss Function의 최솟값을 찾는 과정을 Optimization 이라고 합니다. GD, SGD, mini-Batch GD 가 뭐에요?$$ W_{t+1} = W_{t} - \eta g_t $$ 더보기함수의 기울기를 계산하여, 기울기의 반대방향으로 조금씩 이동하면서 최솟값을 찾아나가는 최적화 기법 입니다.전체 학습 데이터를 대상으로 경사 (Gradient)를 계산하면 GD,하나의 데이터를 골라, 경사를 계산하는 방법을 SGD,GD와 SGD의 절충안으로, minibatch로 학습 데이터로 나누어 진행하는 방법을 mini-Batch GD 라고 합니다.일반적으로 SGD 최적화를 수행했다고 하면, mini-Batch를 말한다고 보면 될 것 같습니다.p.s.SGD를 수행하다보면, Iterate에..
