분류 전체보기174 [ML/DL] softmax와 negative log-likelihood 신경망 구축 과제에서 Loss 부분을 작성하는데 아래와 같은 Total Loss에 대한 정의가 있어 이 부분을 이해하고자 softmax와 log-likelihood에 대한 이해를 하고 넘어가고자 합니다. negative log-likelihood에 대한 더 직관적이고 빠른 이해가 필요할 때는 데이콘에서 제공한 강의에서 loss log에 대해 굉장히 쉽게 설명하고 있으니 참고하시면 좋을 것 같습니다. log loss에 대해 알아보자 - [데이콘 평가산식] 이 포스팅에서는 softmax 함수, negative log-likelihood와 softmax 함수와의 관계 그리고 backpropagation을 할 때 derivative에 대해 알아보겠습니다. Softmax Activation Function Neg.. 2021. 1. 10. [ML/DL] 수포자가 이해한 Softmax (+Python 구현) *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 신경망 구현 과제의 TODO #2를 하기 위해서 Softmax classifier를 이해하고 Softmax classifier loss를 계산하는 forward pass 코드를 작성해야 합니다. 그래서 Softmax classifier loss가 무엇이며, python에서는 어떻게 표현되는지 알아보려고 합니다. logistic function / sigmoid function / softmax function 시그모이드 함수는 로지스틱 함수라고 부르기도 하며, 로지스틱 함수의 한 케이스라 볼 수 있습니다. 인풋이 하나일 때 사용되는 .. 2021. 1. 9. 👏 애드고시 합격 👏 저번주에 2020 목표 중 하나였던 구글 애드센스 승인에 성공했네요 :) 2020년 회고와 성장기록 + 2021 목표는 다음주 내로 올려볼게요! 2021. 1. 9. [ML/DL] 수포자가 이해한 Cross Entropy와 KL-divergence *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 신경망 구축 과제와 CNN과제를 하면서 Cross Entropy가 딥러닝의 기초 개념이라고하여 찾아보니 Cross Entropy와 KL-divergence는 한 세트로 배우는 것 같아 이번 기회에 정리하고 넘어가보고자 합니다. Entropy Entropy는 정보를 표현하는데 필요한 최소 평균 자원량입니다. "What is a common currency of information?" 여기서 '정보를 표현한다'라는 의미를 이해하기 위해서 언어를 비유할 수 있습니다. 한국어, 일본어, 중국어 등 다양한 언어가 있는데 이를 '만국공통어처럼.. 2021. 1. 8. [ML/DL] 수포자가 이해한 2-Layer Neural Net의 vector form *본 포스팅은 중학교때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 만든 자료이오니 정확한 정보가 아닐 수 있습니다. Python으로 2층 신경망 구현 과제를 하면서 score 계산을 위한 Dimension과 Neural Net의 vector form의 이해가 필요하여 복습을 진행하였습니다. 이 글에서 이해하고자 하는 2층 신경망의 구조는 아래 같으며, Dx1, MxD 등과 같은 vector가 무엇을 의미하는지 살펴봅시다. 먼저 vector derivatives와 matrix multiplication에 대해 알아봅시다. Vector Derivatives (벡터 도함수) Scalar to Scalar: scalar 형태인 x가 조금씩 변할 때 scalar 형태인 y가 얼마나 바뀔까? → Regula.. 2021. 1. 5. [ML/DL] MNIST 손글씨 데이터 인식하기 이전 글에서 언급했듯이 이번 글에서는 '신경망 첫걸음(타리트 라시드)'의 MNIST 손글씨 데이터 인식하기 실습을 수행하고자 한다. 먼저 데이터셋을 다운 받아야 하는데 경로는 적절히 선택하면 되겠다. 제공되는 Dataset와 Code MNIST train data: http://www.pjreddie.com/media/files/mnist_train.csv MNIST test data: http://www.pjreddie.com/media/files/mnist_test.csv MNIST train data (100개): https://git.io/vySZ1 MNIST test data (10개): https://git.io/vySZP part2_neural_network_mnist_data.ipynb 아.. 2020. 12. 31. [ML/DL] 파이썬으로 인공 신경망 만들기 대학원 2학기가 종강했지만, 기계학습 수업에서의 MLP 과제를 다시 해보기 위해 '신경망 첫걸음(타리트 라시드)'란 책을 읽고 있다. 이 책의 Chapter 20부터는 Python 실습 내용인데 이를 블로그에 정리해보며 내재화하려 한다. 그렇다면 인공 신경망의 뼈대 코드부터 단계별로 코드를 쌓아보자. COLAB Link : https://colab.research.google.com/drive/1Vjvf9uUW2bbwGFn0SzYL-nlzor7nb_0K?usp=sharing 뼈대 코드 만들기 신경망은 적어도 다음 세 가지 기능을 가져야 한다. 아래 코드에 살을 붙여 나갈 것이다. 초기화: 입력, 은닉, 출력 노드의 수 설정 학습: 학습 데이터들을 통해 학습하고 잉 따라 가중치를 업데이트 질의: 입력을 받.. 2020. 12. 29. 제 27회 ADsP 합격 (feat. 턱걸이) ADsP 턱걸이 합격했습니다 :) GAIQ 이후 첫 데이터 관련 자격증이네요. 다음에는 SQL이나 LinkedIn에 올릴 수 있는 국제적(?) 자격증을 취득해볼까 합니다. 2020. 12. 29. [ML 기초] 수포자가 이해한 미분과 편미분 (feat. 경사하강법) *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 미분은 왜 하며 무엇일까? 미분을 하는 이유는 해당 곡선의 기울기(slope)를 알기 위해서 한다. 미분의 정의는 아래와 같으며 △x대신 'h'를 사용하기도 한다. 'f(x)를 미분하라'는 뜻은 아래 의미를 내포하고 있다. → 입력변수 x미세하게 변할 때, 함수 f가 얼마나 변하는지 알 수 있는 식을 구하라. → 함수f(x)는 입력 x의 미세한 변화에 얼마나 민감하게 반응하는지 알 수 있느 식을 구하라. 위 그림을 보면 기울기가 (+)이면 녹색이 되고 (-)이면 빨간색이 된다. 기울기가 0이면 검정색이 된다. 기울기는 변화율을 활용하.. 2020. 12. 5. [SQLD] 개념 정리 1. 데이터 모델링의 이해 1-1. 데이터 모델링의 이해 1-1-1. 데이터 모델의 이해 1-1-2. 엔터티 1-1-3. 속성 1-1-4. 관계 1-1-5. 식별자 1-2. 데이터 모델과 성능 1-2-1. 성능 데이터 모델링의 개요 1-2-2. 정규화와 성능 1-2-3. 반정규화와 성능 1-2-4. 대량 데이터에 따른 성능 1-2-5. 데이터베이스 구조와 성능 1-2-6. 분산 데이터베이스와 성능 2. SQL 기본 및 활용 2-1. SQL 기본 2-1-1. 관계형 데이터베이스 개요 2-1-2. DDL 2-1-3. DML 2-1-4. TCL 2-1-5. WHERE 절 2-1-6. 함수 2-1-7. GROUP BY, HAVING 절 2-1-8. ORDER BY 절 2-1-9. 조인 2-2. SQL 활용 2-.. 2020. 11. 29. 이전 1 2 3 4 5 6 ··· 18 다음
