Entropy에 대해 설명해주세요.정보량$$ I(X)=log_b\big(\frac{1}{P(X)}\big)=-log_bP(X) $$엔트로피$$ H(P)=-\sum_iP(i)logP(i) $$더보기확률 변수의 Entropy란 평균 정보량을 의미합니다. 놀라움의 평균, 불확실성의 평균 이라고도 표현합니다. * 저 스스로는 정보량에 대해 이해하기를, 특정 사건을 다루기 위해 쓰여야하는 비용 정도로 이해했습니다.가령 비가 내리는 것을 보고 우리는 "비가 내린다." 라고 표현하면 되지만, 비를 난생 처음 본 사람들은 "하늘에서 물방울들이 무리지어, 시간적 딜레이가 거의 없이, 지속적으로 내렸다. 하늘은 꺼멓게 되었고, 귓가에 물방울이 땅에 부딪혀 튀기는 소리가 사방에서 들렸고, 도로에는 물이 조금씩 차올랐는데, ..
DL
딥러닝에서 Loss Function의 최솟값을 찾는 과정을 Optimization 이라고 합니다. GD, SGD, mini-Batch GD 가 뭐에요?$$ W_{t+1} = W_{t} - \eta g_t $$ 더보기함수의 기울기를 계산하여, 기울기의 반대방향으로 조금씩 이동하면서 최솟값을 찾아나가는 최적화 기법 입니다.전체 학습 데이터를 대상으로 경사 (Gradient)를 계산하면 GD,하나의 데이터를 골라, 경사를 계산하는 방법을 SGD,GD와 SGD의 절충안으로, minibatch로 학습 데이터로 나누어 진행하는 방법을 mini-Batch GD 라고 합니다.일반적으로 SGD 최적화를 수행했다고 하면, mini-Batch를 말한다고 보면 될 것 같습니다.p.s.SGD를 수행하다보면, Iterate에..
가중치 초기값을 0으로 해버리면 안되나요? $$ \frac{\partial f }{ \partial x} = \frac {\partial f} {\partial g} \frac{\partial g} {\partial x} $$$$ \frac{\partial g}{\partial x} = w = 0 $$ 더보기가중치 초기화를 0으로 해버리면, 위 식에서와 같이 결국 x 앞단의 모든 값들에 대해 기울기가 0으로 전파되면서 학습이 일어나지 않게 된다. 가중치 초기값을 상수값으로 해버리면 안되나요?$$ h = input_1 w_1 + input_2 w_2 = W ( input_1 + input_2) $$$$ h = h_1 = h_2 = h_3 $$$$ \frac {\partial f}{\partial h} \..
GoogLeNet에서 나온 Inception 계통의 Network에서 등장. Chennel 수 조절 행과 열의 크기 변환 없이 Channel의 수를 자유자재로 조절 가능하게됨. 만약, (28 x 28 x 192) 의 인풋을 (28x28x32)로 줄인다면? => (1x1x192) 필터 32개 사용하여 convolution 연산 계산량 감소 Bottleneck 구조 비선형성 Activation을 사용함으로써 비선형성을 더해줄 수 있음. 행과 열, channel 수를 변화시키지 않고 단순히 weight 및 비선형성을 추가하는 역할로 사용할 수 있음. 출처 https://hwiyong.tistory.com/45 1x1 convolution이란, GoogLeNet 즉, 구글에서 발표한 Inception 계통의 N..
