[논문 리뷰] EfficientDet: Scalable and Efficient Object Detection Review 안녕하세요! 오늘은 랩미팅 중 교수님께서 추천해주신 모델인 EfficientDet 을 리뷰해볼려고 합니다. Google Brain팀에서 publish한 논문이며, Code도 사용할 수 있도록 GitHub에 올려있습니다. Introduction EfficientDet은 이름만큼이나 현재 DataseObject Detection on COCO minival dataset에서 Extra Traning data 없이 성능 측정한 모델 중 1위를 차지할 정도로 적은 연산량(FLOPS)과 정확도를 모두 잡은 Efficient한 Network인데요. 위 single-model single-scale로 진행한 성능 비교 실험에서도 1위 mAP를 달성하며 SOTA 를 갱신했다고 합니다. Challenges Challen.. 2021. 3. 6. [논문 읽기 TIP] ML분야에서 Albation Study란? EfficientDet 논문을 읽다가 Albation Study라는 섹션이 있어 무엇을 뜻하는지 알아보았습니다. Albation Study란? Dataset의 feature나 model components를 제거함으로써 성능에 미치는 영향을 알아보기 위한 실험 Albation Study는 의학, 심리학, 신경과학에서 처음 사용되었지만 Machine Learning 분야에서는 machine learning system의 building blocks을 제거해서 전체 성능에 미치는 효과에 대한 insight를 얻기 위한 과학적 실험이라고합니다. Dataset의 feature나 model components을 building blocks이라고 하는데, 더보기 Sources https://www.quora.com.. 2021. 3. 5. [Object Detection] 1-Stage Detector와 2-Stage Detector 차이 Deepfashion2 dataset과 EfficientDet을 사용한 Multiple-Clothing Detection and Fashion Landmark Estimation Using a Single-Stage Detector 논문을 읽다가 1-Stage Detector로 하나의 single GPU로 빠른 fast inference time(42 ms)을 도달했다고 하여 1-Stage Detector와 2-Stage Detector의 차이를 다른 분의 블로그 포스팅을 참고하여 이번에 정리하고 넘어가려고 합니다. 1-Stage Detector와 2-Stage Detector milestone 2-Stage Detector Regional Proposal과 Classification이 순차적으로 이루어.. 2021. 3. 2. [대학원 TIP] 논문 리뷰/평가 방법 오늘은 두통으로 인해 조금은 스트레스가 덜한 작업인 논문 읽기의 날로 정했어요. 쌓아두었던 논문을 읽기 전에 "행복한 대학원생 되기 - 8편: 논문 리뷰"이라는 포스팅이 생각나서 이를 참고하여 앞으로 논문 읽기의 방향을 조금은 잡아보려고 합니다. 논문 리뷰는 크게 아래와 같이 리뷰를 진행한다고 합니다. 요약 → 평가 → (수정)제안 요약 1. 무엇을 했는지를 중심으로 3-4줄로 간단하게 요약한다. 2. Abstract를 보고 이해되지 않는다면 Related work를 보고 이해한 뒤 진행3 (presentatoin이 좋지 않아 읽기 어려울 경우 어차피 reject될 논문이니 굳이 읽을 필요 없다.) 평가 1. 논문이 합격되어야 할 좋은 점(Points in favor) 찾기 - Novel idea: 아무.. 2021. 3. 1. [논문 리뷰] CVPR 2020 Meta-Transfer Learning for Zero-Shot Super-Resolution (feat. 딥러닝 논문 읽기 모임) 딥러닝논문읽기모임에서 처음으로 발표를 하게된 논문을 오늘 소개하려고 합니다. 발표영상은 YouTube에서 확인이 가능합니다! 해당 논문은 Super Resolution 즉 해상도 복원 분야의 논문으로 Meta-Transfer Learning for Zero-Shot Super-Resolution입니다. 해당 논문은 2020년CVPR에서 발표한 논문입니다. Index Introduction Previous Methods Proposed Methods Experiments Discussion Conclusion Introduction 간략하게 논문 내용을 말씀드리면 기존 CNN 기반의 방법은 제한된 condition에서만 높은 성능을 냈었는데 flexibility 개선하고 Meta-transfer learn.. 2021. 2. 28. [Coursera 수료 ✅ ] Convolutional Neural Networks (Notion/GitHub) 논문을 읽는 과정에서 지식의 빈 틈이 너무 많은 것 같아 Coursera에서 제공하는 Convolutional Neural Networks 과정을 수료했습니다. Convolutional Neural Networks: www.coursera.org/learn/convolutional-neural-networks/ 개인적으로 정리한 Notion 페이지와 Github입니다. 개인 공부를 위해 정리한 거라 깔끔하게 정리되지는 않았지만, 큰 틀을 보시는 데에는 좋을 것 같습니다. 정리 노트: www.notion.so/Convolutional-Neural-Networks-f2a126dd6e274b35a4cd535c84061189 GitHub: github.com/sokim0991/Convolutional-Neura.. 2021. 2. 8. [Coursera 수료 ✅ ] Neural Networks and Deep Learning (Notion/GitHub) Machine Learning 강의를 복습하는 마음에서 Coursera에서 제공하는 Neural Networks and Deep Learning 과정을 수료했습니다. Neural Networks and Deep Learning: www.coursera.org/learn/neural-networks-deep-learning 개인적으로 정리한 Notion 페이지와 Github입니다. 개인 공부를 위해 정리한 거라 깔끔하게 정리되지는 않았지만, 큰 틀을 보시는 데에는 좋을 것 같습니다. 정리 노트: www.notion.so/Neural-Networks-and-Deep-Learning-22025649aa1546fba7bcce4081b4f141 GitHub: github.com/sokim0991/Neural-Ne.. 2021. 2. 8. [cs231n] Minimal Neural Network Case Study 간단한 2차원 신경망의 구현에 대한 전체 과정을 살펴 보겠습니다. 먼저 간단한 선형분류기를 구현한 다음 이 코드를 2 layer 신경망으로 확장하고자 합니다. Generating some datanp.linspace: np.linspace(배열의 시작 값, 배열의 마지막 값, 값의 개수)from builtins import range import numpy as np from random import shuffle from past.builtins import xrange import matplotlib.pyplot as plt N = 100 # number of points per class D = 2 # dimensionality K = 3 # number of classes X = np.zeros(.. 2021. 1. 14. [ML/DL] softmax와 negative log-likelihood 신경망 구축 과제에서 Loss 부분을 작성하는데 아래와 같은 Total Loss에 대한 정의가 있어 이 부분을 이해하고자 softmax와 log-likelihood에 대한 이해를 하고 넘어가고자 합니다. negative log-likelihood에 대한 더 직관적이고 빠른 이해가 필요할 때는 데이콘에서 제공한 강의에서 loss log에 대해 굉장히 쉽게 설명하고 있으니 참고하시면 좋을 것 같습니다. log loss에 대해 알아보자 - [데이콘 평가산식] 이 포스팅에서는 softmax 함수, negative log-likelihood와 softmax 함수와의 관계 그리고 backpropagation을 할 때 derivative에 대해 알아보겠습니다. Softmax Activation Function Neg.. 2021. 1. 10. [ML/DL] 수포자가 이해한 Softmax (+Python 구현) *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 신경망 구현 과제의 TODO #2를 하기 위해서 Softmax classifier를 이해하고 Softmax classifier loss를 계산하는 forward pass 코드를 작성해야 합니다. 그래서 Softmax classifier loss가 무엇이며, python에서는 어떻게 표현되는지 알아보려고 합니다. logistic function / sigmoid function / softmax function 시그모이드 함수는 로지스틱 함수라고 부르기도 하며, 로지스틱 함수의 한 케이스라 볼 수 있습니다. 인풋이 하나일 때 사용되는 .. 2021. 1. 9. 👏 애드고시 합격 👏 저번주에 2020 목표 중 하나였던 구글 애드센스 승인에 성공했네요 :) 2020년 회고와 성장기록 + 2021 목표는 다음주 내로 올려볼게요! 2021. 1. 9. [ML/DL] 수포자가 이해한 Cross Entropy와 KL-divergence *본 포스팅은 중학교 때 수학을 놓아버린 수포자가 기계학습을 이해하기 위해 정리한 것이므로 정확한 정보가 아닐 수 있습니다. 잘못된 정보는 댓글로 알려주시면 감사하겠습니다. 신경망 구축 과제와 CNN과제를 하면서 Cross Entropy가 딥러닝의 기초 개념이라고하여 찾아보니 Cross Entropy와 KL-divergence는 한 세트로 배우는 것 같아 이번 기회에 정리하고 넘어가보고자 합니다. Entropy Entropy는 정보를 표현하는데 필요한 최소 평균 자원량입니다. "What is a common currency of information?" 여기서 '정보를 표현한다'라는 의미를 이해하기 위해서 언어를 비유할 수 있습니다. 한국어, 일본어, 중국어 등 다양한 언어가 있는데 이를 '만국공통어처럼.. 2021. 1. 8. 이전 1 2 3 4 5 ··· 15 다음
