[3학년][1학기][인공지능시스템][7w]

Deep Learning

Deep Learning

• Neural network와 Machine Learning의 한 분야
• 심층신경망을 기반으로 하는 학습 방법
• 음성인식, 영상인식 등 패턴인식 등에서 좋은 성과

Deep Neural Network;DNN (심층신경망)

• 여러 개의 Hidden Layer를 가진 신경망 계열의 모델
• 다층 신경망의 특수한 경우, 기존은 3~4개의 Hidden Layer
• Layer의 수가 많은 신경망 구조
• Convolutional Neural Network(CNN): Layer 개수 많아지기 시작
• DNN의 배경: 80년대 중반 다층 퍼셉트론 연구 이후 침체기 → 프로세서 성능향상과 빅데이터로 학습 시작

DNN 탄생 배경

• 기존 신경망의 Hidden Layer의 개수를 늘려 좀 더 정교한 학습 필요해짐
• CPU, GPU 성능이 향상
• 병렬 분산처리 가능
• 학습을 통한 전처리 과정이 추가되어 효율 향상
• 빅데이터 학습 가능한 환경
• 기존 신경망
  • 학습 데이터에서 직접 Feature 추출하여 입력으로 사용
  • Feature Vector에 따라 학습 결과에 영향 줌
• 딥러닝
  • 학습을 위해 필요한 특징 추출과 학습을 함께 수행

Convolutional Neural Network; CNN

• 합성곱 연산을 사용하는 합성곱 신경망
• Feature Map을 이용하여 학습
• 영상분석, 영상인식, 컴퓨터 비전 등
• Instant Segmentation

Recurrent Neural Network; RNN

• 순환신경망은 데이터에서 규칙적인 패턴을 인식
• 노드 간의 연결이 순환적 구조를 가지는 것이 특징
• 시간에 따라 변하는 특징을 가지는 데이터를 잘 처리
• LSTM과 혼합 사용

Restricted Boltzmann Machine; RBM

• 비지도 학습에 활용
• 입력에 대한 확률 분포를 학습할 수 있는 신경망

Deep Belief Network; DBN

• RBM을 여러 층으로 쌓아올린 구조
• 비지도 학습 가능

Generative Adversarial Network; GAN

• 생성적 적대 신경망
• 서로 경쟁하는 두 개의 신경망에 의해 구현

Issues in Deep Learning

Vanishing Gradient Problem

• Hidden Layer가 많아질수록 전달되는 오차의 크기가 줄어들어 학습이 되지 않는 현상
• 1보다 작은 오차를 계속 곱하면 점점 0으로 가까워짐, 컴퓨터 수치 연산에서 0에 가까워지다가 underflow 발생 가능
• Dropout, ReLU 사용으로 해결

Initializing Weights

• 신경망 성능에 영향 주는 요소
• 일반적으로 0에 가까운 random value 사용
• 개선된 가중치 초기화 방법 사용
  • RBM을 학습시킨 결과 사용: unsupervised learning
  • singular value decomposition을 통해 orthogonal matrix로 초기화

Overfitting

• 모델이 train data에 지나치게 학습된 상태
• training error는 낮으나 test error가 높음
• Regularization, Dropout, Batch normalization으로 완화
  • Regularization: 가중치의 크기를 학습 모델 함수에 추가
  • Dropout: 일정 확률로 노드를 무작위 선택하여 학습에 참여, mini batch마다 dropout할 노드를 새롭게 선택
  • Mini-batch: 전체 학습 데이터를 일정 크기로 나눔, mini batch 단위로 학습

Regularization

• 데이터 확대: 데이터를 더 많이 수집하면 학습 모델의 일반화 성능 좋아짐
• 데이터 생성
  • 충분히 많은 데이터를 수집하기 어려움
  • 인위적으로 데이터를 확대 → 훈련 과정에서 데이터 변형, 데이터 회전 또는 warping
• Weight Decay 방식