Deep Learning

Deep Learning

  • Neural network와 Machine Learning의 한 분야
  • 심층신경망을 기반으로 하는 학습 방법
  • 음성인식, 영상인식 등 패턴인식 등에서 좋은 성과

Deep Neural Network;DNN (심층신경망)

  • 여러 개의 Hidden Layer를 가진 신경망 계열의 모델
  • 다층 신경망의 특수한 경우, 기존은 3~4개의 Hidden Layer
  • Layer의 수가 많은 신경망 구조
  • Convolutional Neural Network(CNN): Layer 개수 많아지기 시작
  • DNN의 배경: 80년대 중반 다층 퍼셉트론 연구 이후 침체기 → 프로세서 성능향상과 빅데이터로 학습 시작

DNN 탄생 배경

  • 기존 신경망의 Hidden Layer의 개수를 늘려 좀 더 정교한 학습 필요해짐
  • CPU, GPU 성능이 향상
  • 병렬 분산처리 가능
  • 학습을 통한 전처리 과정이 추가되어 효율 향상
  • 빅데이터 학습 가능한 환경
  • 기존 신경망
    • 학습 데이터에서 직접 Feature 추출하여 입력으로 사용
    • Feature Vector에 따라 학습 결과에 영향 줌
  • 딥러닝
    • 학습을 위해 필요한 특징 추출과 학습을 함께 수행

Convolutional Neural Network; CNN

  • 합성곱 연산을 사용하는 합성곱 신경망
  • Feature Map을 이용하여 학습
  • 영상분석, 영상인식, 컴퓨터 비전 등
  • Instant Segmentation

Recurrent Neural Network; RNN

  • 순환신경망은 데이터에서 규칙적인 패턴을 인식
  • 노드 간의 연결이 순환적 구조를 가지는 것이 특징
  • 시간에 따라 변하는 특징을 가지는 데이터를 잘 처리
  • LSTM과 혼합 사용

Restricted Boltzmann Machine; RBM

  • 비지도 학습에 활용
  • 입력에 대한 확률 분포를 학습할 수 있는 신경망

Deep Belief Network; DBN

  • RBM을 여러 층으로 쌓아올린 구조
  • 비지도 학습 가능

Generative Adversarial Network; GAN

  • 생성적 적대 신경망
  • 서로 경쟁하는 두 개의 신경망에 의해 구현

Issues in Deep Learning

Vanishing Gradient Problem

  • Hidden Layer가 많아질수록 전달되는 오차의 크기가 줄어들어 학습이 되지 않는 현상
  • 1보다 작은 오차를 계속 곱하면 점점 0으로 가까워짐, 컴퓨터 수치 연산에서 0에 가까워지다가 underflow 발생 가능
  • Dropout, ReLU 사용으로 해결

Initializing Weights

  • 신경망 성능에 영향 주는 요소
  • 일반적으로 0에 가까운 random value 사용
  • 개선된 가중치 초기화 방법 사용
    • RBM을 학습시킨 결과 사용: unsupervised learning
    • singular value decomposition을 통해 orthogonal matrix로 초기화

Overfitting

  • 모델이 train data에 지나치게 학습된 상태
  • training error는 낮으나 test error가 높음
  • Regularization, Dropout, Batch normalization으로 완화
    • Regularization: 가중치의 크기를 학습 모델 함수에 추가
    • Dropout: 일정 확률로 노드를 무작위 선택하여 학습에 참여, mini batch마다 dropout할 노드를 새롭게 선택
    • Mini-batch: 전체 학습 데이터를 일정 크기로 나눔, mini batch 단위로 학습

Regularization

  • 데이터 확대: 데이터를 더 많이 수집하면 학습 모델의 일반화 성능 좋아짐
  • 데이터 생성
    • 충분히 많은 데이터를 수집하기 어려움
    • 인위적으로 데이터를 확대 → 훈련 과정에서 데이터 변형, 데이터 회전 또는 warping
  • Weight Decay 방식

+ Recent posts