cross entropy1 [ML/DL] 수포자가 이해한 Cross Entropy와 KL-divergence *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 신경망 구축 과제와 CNN과제를 하면서 Cross Entropy가 딥러닝의 기초 개념이라고하여 찾아보니 Cross Entropy와 KL-divergence는 한 세트로 배우는 것 같아 이번 기회에 정리하고 넘어가보고자 합니다. Entropy Entropy는 정보를 표현하는데 필요한 최소 평균 자원량입니다. "What is a common currency of information?" 여기서 '정보를 표현한다'라는 의미를 이해하기 위해서 언어를 비유할 수 있습니다. 한국어, 일본어, 중국어 등 다양한 언어가 있는데 이를 '만국공통어처럼.. 2021. 1. 8. 이전 1 다음
