DL/Basic

가중치 초기값을 0으로 해버리면 안되나요? $$ \frac{\partial f }{ \partial x} = \frac {\partial f} {\partial g} \frac{\partial g} {\partial x} $$$$ \frac{\partial g}{\partial x} = w = 0 $$ 더보기가중치 초기화를 0으로 해버리면, 위 식에서와 같이 결국 x 앞단의 모든 값들에 대해 기울기가 0으로 전파되면서 학습이 일어나지 않게 된다.  가중치 초기값을 상수값으로 해버리면 안되나요?$$ h = input_1 w_1 + input_2 w_2 = W ( input_1 + input_2) $$$$ h = h_1 = h_2 = h_3 $$$$ \frac {\partial f}{\partial h} \..

GoogLeNet에서 나온 Inception 계통의 Network에서 등장. Chennel 수 조절 행과 열의 크기 변환 없이 Channel의 수를 자유자재로 조절 가능하게됨. 만약, (28 x 28 x 192) 의 인풋을 (28x28x32)로 줄인다면? => (1x1x192) 필터 32개 사용하여 convolution 연산 계산량 감소 Bottleneck 구조 비선형성 Activation을 사용함으로써 비선형성을 더해줄 수 있음. 행과 열, channel 수를 변화시키지 않고 단순히 weight 및 비선형성을 추가하는 역할로 사용할 수 있음. 출처 https://hwiyong.tistory.com/45 1x1 convolution이란, GoogLeNet 즉, 구글에서 발표한 Inception 계통의 N..

Plateau Phenomenon 정의 학습 과정에서 손실이 더 이상 감소하지 않고, optimizer 알고리즘 성능이 느려지는 현상 위의 Training Loss V.s. Epoch curves와 같이 학습 과정에서 손실이 수렴하는 것 처럼 보이다가 (a), 임의의 epochs에서 다시 손실이 감소하고 (b), 다시 정체 구간을 겪다가 손실이 감소하는 (c) 현상을 Plateau Phenomenon 이라고 합니다. 문제점 epochs에 대한 결정을 복잡하게 만듭니다. Plateau를 횡단하는데 사용되는 불필요한 epochs 수로 인해 수렴을 느리게 만드는 문제가 있습니다. 안장점과 국소 최소라는 최소 두가지 유형의 problematic areas를 갖습니다. 안장점 (Saddle Point) 다음의 l..

인공지능이란? (Artificial Inteligence) 사람의 지능을 모방하는 것을 말합니다. (Mimic Human Intelligence) 사람은 최선이라 생각하는 의사 결정을 수행하고, 행동으로 옮깁니다. 마찬가지로 최선이라고 여겨지는 알고리즘을 채택하여 결과를 도출하는 것을 인공지능이라 하는 것 같습니다. 머신러닝이란? (Machine Learning) 인공지능에는 다양한 기술들이 있고, 그 가운데 Data를 기반으로 문제에 접근하는 방식을 기계 학습이라고 할 수 있습니다. (Data Driven Approach) 딥러닝이란? (Deep Learning) hierarchical representation learning 이라고 말할 수 있습니다. 쉽게 이해하자면, Neural Networks ..