Entropy에 대해 설명해주세요.정보량$$ I(X)=log_b\big(\frac{1}{P(X)}\big)=-log_bP(X) $$엔트로피$$ H(P)=-\sum_iP(i)logP(i) $$더보기확률 변수의 Entropy란 평균 정보량을 의미합니다. 놀라움의 평균, 불확실성의 평균 이라고도 표현합니다. * 저 스스로는 정보량에 대해 이해하기를, 특정 사건을 다루기 위해 쓰여야하는 비용 정도로 이해했습니다.가령 비가 내리는 것을 보고 우리는 "비가 내린다." 라고 표현하면 되지만, 비를 난생 처음 본 사람들은 "하늘에서 물방울들이 무리지어, 시간적 딜레이가 거의 없이, 지속적으로 내렸다. 하늘은 꺼멓게 되었고, 귓가에 물방울이 땅에 부딪혀 튀기는 소리가 사방에서 들렸고, 도로에는 물이 조금씩 차올랐는데, ..
'Cross-Entropy' 태그의 글 목록