[Paper]ImageNet Classification with Deep Convolutional Neural Networks

논문 읽어보기도 시작하기로 했습니다

제 굉장한 단점인 

제대로 시작하고 싶어하는 점

을 회피하면서도 진도를 잘 나가고자 하여 

우선 Abstract들만 먼저 읽고 리뷰를 해보고자 합니다.

 

첫 논문은 ImageNet Classification with Deep Convolutional Neural Networks 입니다

 

0. Abstract

- 1.2 million images를 분류하기 위해 대규모 deep convolution neural net을 학습시킴
- 1000개의 class로 이루어진 ImageNet LSVRC-2010 contest의 image dataset
- 해당 test data에서 SOTA보다 좋은 성능인 37.5% & 17.0%(top1 & top5 error rates)를 기록
- Neural network의 구조는 다음과 같음
    - 60 million개의 parameters
    - 650,000개의 neurons
    - 5개의 convolutional layers
    - max-pooling layers
    - 3개의 fully-connected layers
    - 최종 분류를 위한 1000-way softmax
- 학습을 더 빠르게 하기 위해
    - Non-saturating neurons을 사용하고
    - GPU에 효율적인 convolution operation을 구현하였음
- Fully-connected layers에서의 overfitting을 줄이기 위해
    - “dropout” regularization method를 사용했음
    - 굉장히 효과적이라고 증명되어있음
- 이 Model의 변형한 버전을 ILSVRC-2012 competition에 출전 시킴
    - 15.3% Top-5 error rate을 달성하여 우승(2위는 26.2%)