[3학년][1학기][인공지능시스템][7w]
2024. 4. 17. 18:59
Deep Learning
Deep Learning
- Neural network와 Machine Learning의 한 분야
- 심층신경망을 기반으로 하는 학습 방법
- 음성인식, 영상인식 등 패턴인식 등에서 좋은 성과
Deep Neural Network;DNN (심층신경망)
- 여러 개의 Hidden Layer를 가진 신경망 계열의 모델
- 다층 신경망의 특수한 경우, 기존은 3~4개의 Hidden Layer
- Layer의 수가 많은 신경망 구조
- Convolutional Neural Network(CNN): Layer 개수 많아지기 시작
- DNN의 배경: 80년대 중반 다층 퍼셉트론 연구 이후 침체기 → 프로세서 성능향상과 빅데이터로 학습 시작
DNN 탄생 배경
- 기존 신경망의 Hidden Layer의 개수를 늘려 좀 더 정교한 학습 필요해짐
- CPU, GPU 성능이 향상
- 병렬 분산처리 가능
- 학습을 통한 전처리 과정이 추가되어 효율 향상
- 빅데이터 학습 가능한 환경
- 기존 신경망
- 학습 데이터에서 직접 Feature 추출하여 입력으로 사용
- Feature Vector에 따라 학습 결과에 영향 줌
- 딥러닝
- 학습을 위해 필요한 특징 추출과 학습을 함께 수행
Convolutional Neural Network; CNN
- 합성곱 연산을 사용하는 합성곱 신경망
- Feature Map을 이용하여 학습
- 영상분석, 영상인식, 컴퓨터 비전 등
- Instant Segmentation
Recurrent Neural Network; RNN
- 순환신경망은 데이터에서 규칙적인 패턴을 인식
- 노드 간의 연결이 순환적 구조를 가지는 것이 특징
- 시간에 따라 변하는 특징을 가지는 데이터를 잘 처리
- LSTM과 혼합 사용
Restricted Boltzmann Machine; RBM
- 비지도 학습에 활용
- 입력에 대한 확률 분포를 학습할 수 있는 신경망
Deep Belief Network; DBN
- RBM을 여러 층으로 쌓아올린 구조
- 비지도 학습 가능
Generative Adversarial Network; GAN
- 생성적 적대 신경망
- 서로 경쟁하는 두 개의 신경망에 의해 구현
Issues in Deep Learning
Vanishing Gradient Problem
- Hidden Layer가 많아질수록 전달되는 오차의 크기가 줄어들어 학습이 되지 않는 현상
- 1보다 작은 오차를 계속 곱하면 점점 0으로 가까워짐, 컴퓨터 수치 연산에서 0에 가까워지다가 underflow 발생 가능
- Dropout, ReLU 사용으로 해결
Initializing Weights
- 신경망 성능에 영향 주는 요소
- 일반적으로 0에 가까운 random value 사용
- 개선된 가중치 초기화 방법 사용
- RBM을 학습시킨 결과 사용: unsupervised learning
- singular value decomposition을 통해 orthogonal matrix로 초기화
Overfitting
- 모델이 train data에 지나치게 학습된 상태
- training error는 낮으나 test error가 높음
- Regularization, Dropout, Batch normalization으로 완화
- Regularization: 가중치의 크기를 학습 모델 함수에 추가
- Dropout: 일정 확률로 노드를 무작위 선택하여 학습에 참여, mini batch마다 dropout할 노드를 새롭게 선택
- Mini-batch: 전체 학습 데이터를 일정 크기로 나눔, mini batch 단위로 학습
Regularization
- 데이터 확대: 데이터를 더 많이 수집하면 학습 모델의 일반화 성능 좋아짐
- 데이터 생성
- 충분히 많은 데이터를 수집하기 어려움
- 인위적으로 데이터를 확대 → 훈련 과정에서 데이터 변형, 데이터 회전 또는 warping
- Weight Decay 방식
'학사 > 아주대 융시공' 카테고리의 다른 글
[3학년][1학기][디지털제조입문][9W][1] (0) | 2024.05.04 |
---|---|
[3학년][1학기][인간공학개론][7w] (0) | 2024.04.19 |
[3학년][1학기][디지털제조입문][7W] (0) | 2024.04.16 |
[3학년][1학기][디지털제조입문][과제] SMT2020 (0) | 2024.04.10 |
[3학년][1학기][인간공학개론][5w] (0) | 2024.04.05 |