소셜네트워크분석 수업 과제로 논문 리뷰를 했다

네트워크 분석 / 추천시스템 / 감성분석 중 하나를 골라 해당하는 논문을 읽고 항목별로 정리하는 것이 과제다

평소에도 관심있고, 유튜브나 넷플릭스와 같은 빅테크의 연구 논문을 읽어보고자 추천시스템을 골랐다

선택한 논문은 Google이 YouTube 추천시스템을 어떻게 발전시켰는지에 대한 논문이다.

Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for youtube recommendations." Proceedings of the 10th ACM conference on recommender systems. 2016.

https://research.google/pubs/deep-neural-networks-for-youtube-recommendations/

과제에서 요구하는 항목들은 아래와 같다 

- 주제 소개

- 방법

- 실험과 결과

- 분야 소개

- 연구 확대 방향: 내가 연구를 확장한다면?

I. 논문 주제

 Google에서 YouTube의 추천시스템을 어떻게 구성했는지를 분석한 연구를 선정하였습니다. 최근 많은 사람들에게 추천시스템에 대한 관심이 증가하고 있습니다. “유튜버”라는 직업이 새로 생기고, 기존의 연예인의 자리를 넘볼 만큼 많은 사람들에게 인기를 끌 정도로, 전세계적으로 많은 사람들이 이용하는 YouTube느 실시간으로 정말 방대한 영상 컨텐츠를 사용자에게 제공하고 있습니다. 이 과정에서 사용자가 좋아할만한 영상 컨텐츠를 추천하는 “YouTube 추천 알고리즘”에 대한 대중들의 관심과 호기심도 엄청나게 증가하고 있습니다.

 Google은 YouTube 추천시스템에 대한 논문을 research.google에 발표하고 있으며, 이번에 선정한 논문은 2016년에 발표된 Deep Neural Networks for YouTube Recommendations 입니다. 논문은 전통적인 정보 검색의 2단계 구분에 따라 나뉘어져 있으며, 먼저 Deep Learning 기반의 Candidate Generation Model을 자세히 설명한 후, Deep Learning Ranking Model에 대해 설명합니다. 또한, 대규모 사용자에게 영향을 미치는 추천시스템을 설계, 반복 및 유지하면서 얻은 교훈과 통찰을 제공합니다.

II. 분석 방법

 논문에서는 Deep Learning을 사용하여 추천시스템의 성능을 향상시킨 것에 대해 다루고 있습니다. 이 추천시스템은 2가지 기본 구조를 따르고 있습니다. 첫번째는 Deep Candidate Generation Model이며, 두번째는 Separate Deep Ranking Model입니다.

1. System Overview

 추천시스템의 전체 구조는 위 그림과 같습니다. 구조는 크게 Candidate Generation과 Ranking을 위한 두 개의 Neural Network로 구성되어 있습니다. Candidate Generation Neural Network는 사용자의 YouTube 활동 기록에서 이벤트를 입력으로 받아 대규모 데이터베이스에서 수백 개 수준의 비디오를 검색합니다. 이 후보들은 사용자의 취향에 맞는 정확도가 높은 비디오로 구성되어 있습니다. Candidate Generation Neural Network는 Collaborative Filtering을 통해 넓은 범위의 Personalization을 제공하며, 사용자 간의 유사성은 여러 특징들로 표현됩니다.

 Ranking Neural Network는 주어진 목록 중 몇 가지 Best 추천을 제시하기 위해 후보들 간의 상대적인 중요성을 구별하려고 합니다. 비디오와 사용자를 설명하는 풍부한 Feature Set를 사용하여 원하는 목적 함수에 따라 각 비디오에 점수를 부여함으로써 이 작업을 수행합니다. 점수가 가장 높은 비디오들이 사용자에게 순서대로 제시됩니다.

 추천시스템의 주요 구조인 Candidate Generation과 Ranking에 대한 상세한 내용은 아래와 같습니다.

2. Candidate Generation

 이 과정에서 거대한 YouTube-Corpus는 사용자와 관련 있을 수 있는 수백 개의 동영상으로 축소됩니다. 기존의 추천시스템은 Rank Loss를 기반으로 학습된 Matrix Factorization 기법이었습니다. 초기 Neural Network Model은 사용자의 이전 시청 기록을 Embedding하는 방식으로 이 Matrix Factorization 방식을 모방하였습니다. 이러한 접근은 Matrix Factorization 방식을 비선형적으로 일반화한 것으로 볼 수 있습니다.

 추천 문제를 극단적인 다중 클래스 분류 문제로 정의하였습니다. 시간 t에 특정 사용자 U와 Context C를 바탕으로 비디오 i를 시청할 확률을 예측하는 문제입니다. w_t는 실제로 시청한 비디오를 의미하며 아래 수식은, 실제로 시청한 비디오 w_t가 수백만 개의 비디오 중 하나인 i일 확률을 계산하는 것입니다.

수식을 조금 더 살펴보겠습니다. 사용자와 상황(Context)가 주어졌을 때, 특정 시간 t에서 시청한 비디오 w_t가 특정 비디오 Index i일 확률을 구하고 있습니다. 이 확률은 각 비디오의 Embedding Representation Vector v_i와 사용자의 고차원 Embedding Representation Vector u를 Dot Product하고 SoftMax Function을 이용하여 0과 1사이의 확률 값으로 만듭니다. 분모는 YouTube-Corpus V내의 모든 비디오 j들의 Embedding Vector와 사용자 Embedding Vector의 Dot Product의 Summation입니다. 분자는 특정 비디오 i와 사용자의 Dot Product입니다. 여기서 Embedding은 개별 비디오와 사용자 등 Sparse한 객체들을 고차원 Vector로 변환하는 것입니다. 이러한 Embedding Vector가 특정 객체의 Feature를 잘 Representation 해야 하기 때문에 Embedding을 잘 학습하는 것이 중요합니다.

 학습 데이터가 증가하면서 SoftMax Classification의 개수가 늘어남에 따라 효율적인 학습을 위해 Negative Sampling을 도입하였습니다. 또한, 서비스 제공 시에도 가장 가능성이 높은 N개의 클래스를 계산하여 선택해야 하는데, 굉장히 짧은 지연 시간 내에 사용자에게 비디오를 제공해야 하기 때문에 Sublinear 방식인 Hashing 방식으로 수백만 개의 항목을 빠르게 점수화하였습니다.

 또한, YouTube에는 좋아요/싫어요, 설문조사 등 Explicit Feedback이 존재하지만, Implicit Feedback을 사용하여 Model을 학습시킵니다. 사용자가 비디오를 끝까지 시청하는 경우와 같은 예시들이 있습니다. 이러한 활용 가능한, 아주 많은 Implicit Feedback이 있어 Explicit Feedback이 드문 경우에도 깊이 있는 추천을 제공할 수 있습니다.

 Model 구조는 아래와 같습니다. 각 비디오 컨텐츠의 고차원 Embedding을 구합니다. 사용자의 시청 기록은 정해져 있지 않은 길이의 Sparse한 비디오 ID의 Sequence로 표현되며, Embedding하여 Feed Forward Neural Network에 입력하기 위해 시청 기록 Vector의 평균을 냅니다. 이 외에도 Geographic Embedding, Example Age, Gender 등의 여러 Feature들을 Concatenate하여 Neural Network에 입력됩니다. Activation Function은 ReLU(Rectified Linear Unit)을 사용합니다. 훈련 시에는 SoftMax의 출력을 이용하여 Cross-Entropy Loss를 Gradient Descent로 최소화합니다. 사용자에게 실제로 추천 비디오를 제공할 때는 Nearest Neighbor 검색을 이용하여 상위 N개의 비디오를 제공합니다.

 이러한 구조로 Matrix Factorization을 Neural Network로 사용하는 핵심 장점은 다양한 Continuous, Categorical Feature들을 Model에 쉽게 추가할 수 있다는 점입니다. 사용자의 검색 기록은 시청 기록과 유사하게 처리되며, 새로운 사용자에 대한 추천시스템의 초기 행동 정의를 위해 사용자의 지리적 위치나 장치 정보, 접속 장치, 성별, 나이 등 여러 Feature들도 또한 함께 Embedding되어 입력됩니다.

 * Example Age

 : YouTube에는 매초 수많은 비디오가 업로드되기 때문에 신규 컨텐츠를 추천하는 것이 중요합니다. 사용자는 일반적으로 신규 컨텐츠들을 선호하지만 이는 관련성을 해치지 않는 범위 내에서입니다. Machine Learning 시스템은 보통 과거 데이터로 미래 행동을 예측하므로 과거에 대한 Bias가 내재될 수 있습니다. 이를 교정하기 위해 비디오가 업로드 된 후 경과한 시간을 Feature로 추가합니다.

3. Ranking

 Ranking 시스템의 주요 역할은 Impression 데이터를 활용하여 특정 사용자에게 맞는 후보 예측을 세분화하고 조정하는 것입니다. 이 단계에서 중요한 점은 특징의 다양성과 후보 소스의 결합입니다. Candidate Generation 단계에서는 수백만 개의 비디오를 평가하지만 Ranking 단계에서는 수백 개의 비디오만 평가하기 때문에 더 많은 Feature를 이용할 수 있으며, 비디오의 세부 정보나 사용자와 비디오의 관계를 설명하는 추가적인 Feature들을 사용할 수 있습니다. 또한 여러 후보 비디오의 점수를 비교하는데도 중요합니다. 각 후보 소스의 점수가 직접 비교하기 어렵기 때문에, Ranking을 통해 독립적인 점수를 할당해야 합니다.

 Model의 구조는 Candidate Generation과 유사한 Neural Network가 사용되나, Logistic Regression을 사용하여 각 비디오 Impression에 독립적 점수를 할당하고, 이 점수에 따라 비디오 목록이 정렬, 사용자에게 제공됩니다. Ranking의 최종 목표는 Expected Watch Time을 기반으로 합니다. 이 목표는 실시간 A/B Test 결과에 따라 지속적으로 조정됩니다.

 Ranking Network에 Categorical, Continuous Feature들을 결합하고 입력하여 최종적으로 비디오에 대한 순위를 매깁니다. Categorical Feature인 Impression Video ID와 Watched Video ID는 Embedding을 통해 Sparse한 데이터를 Dense Vector로 변환합니다. 사용자와 비디오의 언어도 각각 Embedding되어 Network에 입력됩니다. Continuous Feature는 Normalization되어 입력됩니다. 사용자가 마지막으로 비디오를 시청한 이후의 시간과 사용자에게 이전에 노출된 비디오의 개수인 Time Since Last Watch와 # Previous Impressions는 Continuous Feature를 더 유연하게 처리하기 위해 Normalization된 후 제곱과 제곱근 변환을 통해 입력됩니다. 입력된 모든 Features는 ReLU Activation Function을 사용하는 Fully Connected Layer를 거쳐 비디오에 대한 점수로 최종 출력됩니다. 점수는 Weighted Logistic Regression 방식을 통해 계산되며, 이는 특정 비디오가 사용자에게 얼마나 적합한지를 나타내는 점수로, 이 점수를 바탕으로 비디오가 사용자에게 추천됩니다.

 해당 추천시스템의 중요한 목표 중 하나인 사용자가 사용자에게 추천된 비디오에 대해 얼마나 오랫동안 시청할 것인지, Expected Watch Time을 예측하기 위해 Weighted Logistic Regression 기법을 사용했습니다. Positive Example과 Negative Example로 나뉩니다. Positive Example은 사용자가 클릭한 Impression 비디오를 의미합니다. 여기에는 사용자가 해당 비디오를 얼마나 시청했는지에 대한 정보가 추가로 제공됩니다. Negative Example은 사용자가 클릭하지 않은 비디오입니다.

 Logistic Regression은 Cross-Entropy Loss를 기반으로 학습됩니다. Positive Example에는 시청 시간을 가중치로 주고, Negative Example은 모두 동일한 가중치를 부여합니다. 즉, 사용자가 클릭하고 시청한 비디오일수록 Model에서 더 많은 영향을 미치게 됩니다. Logistic Regression이 학습하는 확률은 아래와 같습니다.

여기서 N은 전체 훈련 데이터 예시의 수, k는 Positive 비디오 노출 수, T_i는 i번째 비디오 노출의 시청 시간, P는 Click Probability입니다. 추론 시에는 Exponential Function이 최종 Activation Function으로 사용됩니다. 비디오 Impression에 대한 확률을 계산하며, 이를 바탕으로 예상 시청 시간을 예측할 수 있게 됩니다.

III. 실험과 결과

 YouTube의 추천시스템 성능 향상을 위해 여러 연구와 시도들이 진행되었습니다. 이들에 대한 실험과 결과를 분석해보겠습니다.

1) Example Age

 사용자들이 보통 신규 컨텐츠를 선호하는 점을 반영하기 위해 추가되는 Feature인 Example Age를 적용한 후 효과를 파악해보았습니다. 아래 Figure에서 업로드 이후 경과된 일 수에 따른 클래스 확률(해당 비디오가 선택될 확률)을 보여주고 있습니다. 파란색 선은 Example Age를 적용하지 않은 Model, 빨간색 선은 Example Age를 사용한 Model이며, 녹색 선은 실제 데이터에서 관찰된 인기도 분포로 실제로 비디오가 어떻게 소비되는지 나타냅니다. 실제 데이터를 봤을 때, 보통 비디오가 업로드된 직후 인기가 급격히 상승하고, 시간이 지나며 점점 감소하는 패턴을 보입니다. Example Age를 적용한 Model은 마찬가지로 업로드 직후 클래스 확률을 크게 계산하며, 점점 줄어드나, 적용하지 않은 Model은 비디오의 업로드된 시점이나 그 후 변동을 잘 반영하지 못하고 있습니다.

2) Feature와 Depth

 Feature와 Neural Network의 Depth를 추가하면 Holdout 데이터에 대한 Precision이 크게 향상되는 것을 확인하였습니다. 실험을 위해 1백만 개의 비디오와 1백만 개의 검색 토큰이 사용되었습니다. 각 비디오와 검색 토큰은 각각 256차원의 Embedding으로 변환되었으며, 최대 50개의 최근 시청 기록과 50개의 최근 검색 기록을 포함하는 “bag”구조가 사용되었습니다.

 Model은 모든 유저에 대해 여러 번의 Epoch를 거쳐 수렴할 때까지 학습되었으며, Network 구조는 일반적인 “Tower Pattern”을 따랐습니다. Network의 하단부가 가장 넓고, 각 은닉층으로 갈수록 유닛의 수가 절반으로 줄어듭니다. Neural Network Depth는 0부터 4까지 디자인되었으며, Depth 0은 선형 Layer가 단순히 Concatenate-Layer를 변형하여 SoftMax 차원인 256차원과 맞췄습니다. 이 Network는 기존 시스템과 유사한 성능을 발휘했으며, Depth 1부터 4까지의 Layer 디자인은 다음과 같습니다.

• Depth 1: 256 ReLU

• Depth 2: 512 ReLU → 256 ReLU

• Depth 3: 1024 ReLU → 512 ReLU → 256 ReLU

• Depth 4: 2048 ReLU → 1024 ReLU → 512 ReLU → 256 ReLU

결과를 분석해보겠습니다. Neural Network의 Feature와 Depth를 추가할수록 Model의 성능이 꾸준히 향상되었습니다. 성능 측정은 Model Training에 사용되지 않은 Holdout 데이터를 이용해 Mean Average Precision을 계산하였습니다. X축 Network의 Depth가 깊어질수록 성능이 향상되었으며, 점선, 파란색 선, 빨간색 선, 녹색 선으로 갈수록 성능이 향상되었습니다. 특히 Example Age가 추가된 빨간색 선이나 모든 Feature를 사용한 녹색 선의 경우 Network가 깊어질수록 성능 향상이 두드러지나, 단순한 시청 기록만을 사용한 Model은 Network가 깊어지더라도 성능이 크게 개선되지 않습니다. 이는 다양한 신호가 주어졌을 때 더 잘 학습하고 반영할 수 있음을 보여줍니다.

3) Hidden Layers

 Hidden Layers 구성에 따른 Model 성능에 대한 실험 결과입니다.

 성능 비교 시 사용될 Metric은 Weighted, per-user Loss로, 한 페이지에 있는 Positive & Negative 비디오 노출에 대해 Model이 점수를 예측한 후, Negative 비디오의 점수가 Positive 비디오의 점수보다 높으면, 해당 Positive 비디오의 시청 시간이 잘못 예측된 것으로 간주합니다. Weighted, per-user Loss는 이러한 잘못 예측된 시청 시간을 총 시청 시간 대비 비율로 표현한 값으로, 작을수록 Model이 더 정확하게 시청 시간을 예측한 것입니다.

 실험 결과, Hidden Layer의 Width와 Depth를 증가시키면 성능이 개선됩니다. 그러나 Width와 Depth를 증가시킴에 따라 CPU 자원의 사용량이 올라가는 Trade-off도 존재합니다. 또한, Positive 비디오와 Negative 비디오에 동일한 가중치를 부여한 경우 Watch Time Weighted Loss가 4.1% 증가하였습니다. 이는 Positive 비디오에 더 높은 가중치를 부여하는 것이 더 성능에 좋은 영향을 끼치는 것을 보여줍니다. 성능과 자원 효율 측면에서 1024 → 512 → 256 구성이 최적의 결과를 제공합니다.

IV. 분야 탐구

 해당 연구는 추천시스템에 대한 연구로, Google의 YouTube가 어떻게 사용자들에게 영상 컨텐츠를 추천해주는지에 관한 연구입니다. 추천시스템은 Google뿐 아니라 Netflix, Meta 등 사용자에게 컨텐츠를 제공하는 여러 빅테크 기업의 주도로 활발히 연구가 진행되고 있는 분야입니다. “알고리즘의 선택”, “유튜버로서 성공하기 위해서는 알고리즘을 잘 타야 한다” 등 이러한 추천시스템은 대중들에게도 이미 친숙하고 알면 도움이 되는 분야입니다. 이렇게 서비스 산업에서 중요한 역할을 하고 있는 만큼, 산업의 규모가 커짐에 따라 추천시스템이 해결해야 할 문제들도 많습니다.

 해당 연구에서 Google이 언급한 YouTube가 마주한 추천시스템의 Challenge는 크게 3가지가 있습니다. Google은 아래와 같은 Challenge를 포함한 여러 문제들을 Deep Learning을 이용한 Solution으로 해결하고자 하는 근본적 패러다임 변화를 시행하고 있습니다.

 1) Scale

  : 기존의 추천 알고리즘들은 작은 문제에 대해서는 잘 작동하지만 전세계 수억 명 이상이 사용하는 YouTube와 같은 규모에서는 제대로 작동하지 않습니다. 방대한 사용자 데이터를 처리하기 위해서는 굉장히 특화된 분산 학습 알고리즘과 효율적인 Serving 시스템이 필요합니다.

 2) Freshness

: YouTube에는 매초 매순간 많은 양의 비디오가 업로드 됩니다. 추천시스템은 새로 업로드된 컨텐츠와 사용자가 최근에 취한 행동을 Modeling 할 수 있을 정도로 충분한 반응성이 있어야 합니다. Exploration & Exploitation 관점에서 새롭게 업로드된 컨텐츠와 기존의 인기 있는 비디오 간의 균형을 맞추는 것이 중요합니다.

 3) Noise

: YouTube 사용자의 과거 행동은 Sparsity와 여러 외부 요인으로 인해 예측하기 어려우며, 사용자의 만족도 또한 정확히 알기 어렵습니다. 대신 Noise가 섞인 Implicit Feedback을 Modeling 합니다. 또한, 컨텐츠와 관련된 메타데이터의 분류 체계는 잘 정의되어 있지만, 구조화가 제대로 되어있지 않습니다. 이러한 훈련 데이터의 특성에 강인한 추천시스템이 필요합니다.

 이 외에도 유해 컨텐츠 차단, 더 빠르고 정확한 추론, 유저의 알고리즘 공략 등 추천시스템 분야가 마주한 난관들은 많습니다. 이 논문에서는 위에서 언급된 3가지 Challenge들을 해결해 나가기 위해 추천시스템을 연구하고 발전시킨 내용을 다루고 있습니다.

V. 연구 확대 계획

 YouTube의 영상 추천시스템을 다룬 해당 연구를 살펴보고, 학습하면서 이러한 연구 결과들을 어떻게 활용, 발전, 확대할 수 있을까 고민해보았습니다.

1. Embedding Feature 확대

우선 현재 적용되고 있는 추천시스템에서 중요한 부분 중 하나인 Embedding Feature가 먼저 떠올랐습니다. 비디오의 내용을 Embedding하는 Algorithm을 수정한다면 Trade-off가 발생할 것으로 예상되어, 대신 사용자의 특성을 잘 반영할 수 있는 Feature들을 추가하고자 합니다. 그 목록은 다음과 같습니다.

1) 주로 시청하는 영상의 길이

 최근 Short-form플랫폼이 굉장한 인기를 끌고 있습니다. TikTok, Reals, Shorts 등이 그러한 플랫폼의 선발 주자입니다. 반면, 아주 긴 시간동안 컨텐츠가 진행되는 영상에 매력을 느끼는 사용자들도 많습니다. 제가 자주 보는 “침착맨” 채널이나 “안될과학” 등 30분 이상, 길게는 몇 시간까지도 진행되는 이러한 컨텐츠들이 대표적인 예시입니다. 이렇듯 사용자마다 즐겨 찾는 컨텐츠의 길이가 달라 이를 Feature Vectorization하여 추천시스템에 반영한다면 보다 더 정확한 추천을 제공할 수 있을 것입니다. 더 나아가자면, 영상 컨텐츠의 세부 분야와 영상 시간을 Matching하여, 각 사용자들이 각 분야마다 선호하는 영상 길이에 대한 Feature를 추가하면 더 효과적일 것입니다.

2) 시간대 별로 시청하는 영상의 종류

 많은 현대인들이 YouTube 플랫폼에서 많은 시간을 보내고 있습니다. 이는 YouTube 영상을 시청하고 있는 시간대도 다양하다는 것을 의미합니다. 그리고 시간대마다 즐겨 찾는 영상의 분야도 서로 다를 것입니다. 예를 들자면, 하루를 시작하는 아침에는 뉴스나 간밤 있었던 해외 증시에 대한 영상일 수 있으며, 식사 시간에는 가볍게 볼 수 있는 예능, 잠들기 전에는 수면을 도와주는 ASMR 영상일 것입니다. 이렇듯 사용자가 특정 시간대에 주로 시청하는 영상의 종류, 분야를 Vectorization 한다면 추천 성능을 향상시킬 수 있을 것입니다.

3) 타 사용자와의 교류

YouTube의 단점을 꼽아보자면, 카페와 같은 플랫폼과 다르게 타 사용자들과의 교류가 적다는 점입니다. YouTube 영상들 중 인기를 끄는 또 하나의 종류가 영상과 그에 대한 댓글들이 함께 등장하는 컨텐츠입니다. “댓글 모아보기”와 같은 이름으로 업로드되는 이러한 컨텐츠들도 사용자로 하여금 다른 여러 사람들과 함께 영상을 즐기는 듯한 느낌을 주어 인기를 끌고 있습니다. 이러한 특성을 반영하고자 영상의 댓글 수나 댓글의 답글 수, 댓글의 좋아요 수 등 다른 사용자들과의 교류, 상호작용의 여지가 많은 컨텐츠의 특성을 Embedding 하여 반영할 수 있을 것입니다.

2. 영상 컨텐츠를 넘어 텍스트 컨텐츠까지

 YouTube 추천시스템의 이러한 구조, 특성들을 비단 영상 플랫폼을 넘어 e-Book 등 텍스트 플랫폼에도 적용해볼 수 있을 것입니다. “밀리의 서재”와 같은 e-Book 플랫폼이나, 뉴스 기사, Article들을 추천해주는 서비스들에 적용해보고자 합니다.

 텍스트 컨텐츠는 영상 컨텐츠와 다르게 이미 Script화 되어있기 때문에 최근 발전한 LLM 기술 등을 이용하여 컨텐츠의 Feature Vector를 구하는 것이 수월할 것으로 예상됩니다. 게다가, 영상 컨텐츠에 비해 압도적인 분량으로 보다 정확하고 구체적으로 컨텐츠의 내용을 Feature에 반영할 수 있을 것입니다.

 또한, 마찬가지로 사용자의 화면이나 스크롤 등의 데이터를 이용해 해당 컨텐츠의 소비 속도, 사용 진도 등을 참고하여 영상 컨텐츠의 추천시스템을 그대로 적용할 수 있을 것입니다.

VI. 느낀 점과 배운 점

 기존에 많은 관심을 가지고 있고, 일상에서도 자주 접해 친숙한 추천시스템에 대한 연구를 학습해볼 좋은 기회가 되었습니다. 학기 초 커리큘럼에서도 중간고사 이후에 추천시스템을 다루게 되어 기대가 많았는데, 이번 과제를 통해서도 많이 배우게 되어 기뻤습니다.

 추천시스템에 대한 연구 중 해당 논문을 고른 이유 중 하나는, 사회 전반에 끼치는 영향력입니다. 해당 연구는 Google Scholar 기준 3820회의 Citation으로 학계에 굉장히 많은 영향을 끼치는 논문이며, 그것보다 Google이라는 빅테크 기업의 YouTube라는 전세계에서 가장 큰 플랫폼에 적용되는 추천시스템에 대해 이번 기회에 학습해보고자 했습니다. 이번 기회를 토대로 Google이 발표한 여러 논문들과 Netflix, X, Meta 등 여러 빅테크 기업들의 논문도 함께 학습해볼 계획입니다.

 Computer Vision과 Natural Language Processing 등 현실의 여러 분야에 Deep Learning이 적용되어 문제를 해결해 나가는 동향을 보고 많은 흥미를 느꼈는데, 추천시스템에도 이렇게 활발히 Deep Learning 적용이 되고 있다는 것을 알게 되었습니다.

 아쉬운 점이 있다면, 해당 연구에서 Deep Learning 접목 외의 추천시스템에 대해서는 많이 다루지 않았다는 점입니다. Matrix Factorization, Collaborative Filtering, Latent Factor Models 등과 같은 여러 추천시스템에 사용되는 알고리즘에 대해서도 학습해보고 싶었으나 해당 연구를 통해서는 그러지 못했습니다. 과제 이후로도 추가로 학습해보려고 합니다.

VII. 추가 학습

Collaborative Filtering

 Netflix의 Collaborative Filtering for Implicit Feedback Datasets 논문을 읽고 Collaborative Filtering을 활용한 추천시스템에 대해 간단하게 학습해보았습니다. Collaborative Filtering은 추천시스템에서 사용자의 과거 행동과 다른 사용자들의 행동을 기반으로 새로운 사용자-아이템 간의 연관성을 발견하는 방법입니다. 이 알고리즘은 직접적인 사용자 프로파일링이나 항목의 특성을 파악하지 않고, 사용자의 과거 아이템 소비 기록을 분석해 향후 선호할 가능성이 높은 아이템을 추천합니다. 사용자와 아이템 간의 상호작용 행렬을 사용하는데, 주로 두가지 방식이 사용됩니다.

1) User-based CF: 특정 사용자의 행동 패턴과 유사한 다른 사용자 그룹을 찾아내, 그들이 선호하는 아이템을 추천합니다.

2) Item-based CF: 사용자가 과거에 선호했던 아이템과 유사한 다른 아이템을 추천합니다. 이를 위해 주로 Similarity 측정(예를 들면 Cosine Similarity)을 사용해 두 아이템 간의 관계를 파악합니다.

Latent Factor Models

 Netflix의 Recommender Systems in Industry: A Netflix Case Study 논문을 참고하여 Latent Factor Models에 대해 간단하게 학습해보았습니다. LFM은 사용자와 아이템(Netflix에서는 영화 등)을 잠재 공간에 Mapping하여, 두 행렬을 분해함으로써 각 사용자와 아이템 간의 상호작용을 모델링합니다.

1) Matrix Factorization: 사용자-아이템 상호작용 행렬을 사용자 행렬, 아이템 행렬 두 개의 저차원 행렬로 분해합니다. 각각의 행렬은 잠재 요인으로 구성되어 있으며, 사용자는 이 잠재 공간에서 특정 속성을 가지고, 아이템 역시 그와 유사한 속성으로 모델링됩니다. 사용자와 아이템 간의 Dot Product를 통해 사용자가 아이템을 얼마나 선호할지 예측합니다.

2) Sparsity 문제 해결: 데이터 Sparsity 문제를 해결하기 위해 차원 축소를 사용하여 빈 데이터를 예측합니다. 이를 통해 사용자가 평가하지 않은 아이템에 대한 선호도를 추정할 수 있게 됩니다.

3) 정규화 및 최적화: LFM은 Regularization 기법을 통해 Model이 Overfitting되지 않도록 조정합니다. 특히 Stochastic Gradient Descent 같은 기법을 사용하여 행렬을 최적화합니다.

 Netflix의 추천시스템에서 LFM은 사용자와 아이템의 숨겨진 관계를 학습해 사용자가 아직 보지 않은 콘텐츠를 효과적으로 추천하는 데 매우 중요한 기법으로 사용됩니다.

참고 문헌

- Covington, Paul, Jay Adams, and Emre Sargin. "Deep neural networks for youtube recommendations." Proceedings of the 10th ACM conference on recommender systems. 2016.

- Hu, Yifan, Yehuda Koren, and Chris Volinsky. "Collaborative filtering for implicit feedback datasets." 2008 Eighth IEEE international conference on data mining. Ieee, 2008.

- Amatriain, Xavier, and Justin Basilico. "Recommender systems in industry: A netflix case study." Recommender systems handbook. Boston, MA: Springer US, 2015. 385-419.

Bulk Metal Forming

Bulk Deformation

• Metal forming operations which cause significant shape change
• Starting forms: cylindrical bars and billets, rectangular billets and slabs, and similar shapes

Importance of Bulk Deformation

• In hot working, significant shape change can be accomplished
• In cold working, strength can be increased during shape change
• Little or no waste: some operations are near net shape or net shape processes
  • The parts require little or no subsequent machining

Four Basic Bulk Deformation Processes

1. Rolling: slab or plate is squeesed between opposing rolls
2. Forging: work is squeezed and shaped between opposing dies
3. Extrusion: work is squeezed through a die opening, thereby taking the shape of the opening
4. Wire and bar drawing: diameter of wire or bar is reduced by pulling it through a die opening

Rolling

• which work thickness is reduced by compressive forces exerted by tow opposing rolls

The Rolls

• The rotating rolls perform two main functions

1. Pull the work into the gap between them by friction between workpart and rolls
2. Simultaneously squeeze the work to reduce cross section

Types of Rolling

• By geometry of work
  • Flat rolling
    • Draft: amount of thickness reduction
      • d = t0 - tf
    • Reduction: draft expressed as a fraction of starting stock thickness
      • r = d / t0
    • d = draft
    • t0 = starting tthickness
    • tf = final thickness
  • Shape rolling
    • Work is deformed into a contoured cross-sectiion rather than flat
• By temperature of work
  • Hot rolling
  • Cold rolling

Rollling Mills

• Equipment is massive and expensive
• Two-high: two opposing large diameter rolls
• Three-high: work passes through both directions
• Four-high: backing rolls rupport smaller work rolls
• Cluster mill: multiple backing rolls on smaller rolls
• Tendem rolling mill: sequence of two-high mills

Thread Rolling

• Most important commercial process for mass producting bolts and screws
• Performed by cold working in thread rolling machines
• Advantages over thread cutting
  • Higher production rates
  • Better aterial utilization
  • Stronger threads due to work hardening
  • Better fatigue resistance due to compressive stresses introduced by rolling

Ring Rolling

• 언급만 잠깐 하고 넘어감

Forging

• Deformation process in which work is compressed between two dies
• Components: engine crangshafts, connecting rods, grears, aircraft structural components, jet engine turbine parts

Classification of Forging Operations

• Cold vs Hot forging
  • Hot or warm forging: most common, due to the significant deformation and the need to reduce strength and increase ductility of work metal
  • Cold forging: advantage is increased strength that results from strain hardening
• Impact vs press forging
  • Forge hammer - applies an impact load
  • Forge press - applies gradual pressure

Types of Forging Dies

• Open-die forging
  • work is compressed between two flat dies, allowing metal to flow laterally without constraint
  • Compression of workpart with cylindrical cross-section between two flat dies
• Impression-die forging
  • die surfaces contain a cavity or impression that is imparted to workpart, thus constraining metal flow - flash is created
  • Compression of workpart by dies with inverse of desired part shape
  • Flash is formed by metal that flows beyond die cavity into small gap between die plates
  • Flash must be later trimmed from part
• Flashless forging
  • workpart is completely constrained in die and no excess flash is produced
  • Compression of work in punch and die tooling whose cavity does allow for flash
  • Starting workpart volume must equal die cavity volume within very close tolerance
  • Process control more demanding than imporession-die forging
  • Best suited to part geometries that are simple and symmetrical
  • Often classified as a precision forging process

Impression-Die Forging Advantages and Limitations

• Advantages(compared to machining from solid storck)
  • Higher production rates
  • Conservation of metal(less waste)
  • Greater strength
  • Favorable grain orientation in the metal
• Limitations
  • Not capable of close tolerances
  • Machining often required to achieve accuracies and features needed, such as holes, threads, and mating surfaces that fit with other components

Forging Presses

• Apply gradual pressure to accomplish compression operation
  • Mechanical presses: converts rotation of drive motor into linear motion of ram
  • Hydraulic presses: hydraulic piston actuates ram
  • Screw presses: screw mechanism drives ram

Upsetting and Heading

• Forging process used to form heads on nails, bolts, and similar hardware products
• Cycle
  1. wire stock is fed to the stop
  2. gripping dies close on the stock and the stop is retracted
  3. punch moves forward
  4. bottoms to form the head

Swaging

• Accomplished by rotating dies that hammer a workpiece radially inward to taper it as the piece is fed into the dies

Trimming

• Cutting operation to remove flash from workpart in impression-die forging

Digital Inspection System

• 비접촉식 Digital 형상 측정 기술을 통하여 실물로부터 CAD Data를 생성하거나 CAD Data와 생산품(부품, PP, 양산품 등) 간의 2/3D 기하학적 차이를 비교검증하는 기술
• 측정기를 활용하는 두 가지 기술
• Reverse Engineering
  • 실물로부터 디지털화된 CAD Data 생성: 디지털 복제 기술
  • 제품은 있는데 CAD Model 없음
• Inspection
  • 기준 CAD Data와 실제품의 3차원 측정 데이터간의 신속 비교
  • 2D/3D Metrology, Comparison

Extrusion

• Compression forming process in which the work metal is forced to flow through a die opening to produce a desired cross-sectional shape
• Two basic types of extrusion
  • Direct extrusion
  • Indirect extrusion

Direct Extrusion

• Also called forward extrusion
• This extra portion, called the butt, must be separated

Indirect Extrusion

• Also called backward extrusion and reverse extrusion
• Limitations of indirect extrusion are imposed by the lower rigidity of hollow ram and difficulty in supporting extruded product as it exits die

General Advantages of Extrusion

• Variety of shapes possible, expecially in hot extrusion
  • Limitation: part cross-section must be uniform throughout length
• Grain structure and strength enhanced in cold and warm extrusion
• Close tolerances possible, especially in cold extrusion
• In some operations, little or no waste of material

Hot vs. Cold Extrusion

• Hot extrusion
  • prior heating of billet to above its recrystallizaion temperature
  • This reduces strength and increases ductility of the metal, permitting more size reductions and more complex shapes
• Cold extrusion
  • generally used to produce discrete parts
  • The term impact extrusion is used to indicate high speed cold extrusion

Extrusion Ratio

• Also called the reduction ratio
• rx = A0/Af(>1)
  • rx = extrusion ratio
  • A0 = cross-sectional area of the starting billet
  • Af = final cross-sectional area of the extruded section
• Applies to both direct and indirect extrusion

Die Angle

• Low
  • surface area is large, leading to increased friction at die-billet interface
  • Higher friction results in larger ram force
• High
  • more turbulence in metal flow during reduction
  • Turbulence increases ram force required
• Optimum angle depends on work material, billet temperature, and lubrication
• Maximum die angle = 90

Orifice Shape of Extrusion Die

• Simplest cross section shape = circular die orifice
• Shape of die orifice affects ram pressure
• As cross-section becomes more complex, higher pressure and greater force are required(ex: heat sink)

Extrusion Presses

• Either horizontal or vertical
  • Horizontal more common
• Extrusion presses
  • Usually hydraulically driven, which is expecially suited to semi-continuous direct extrusion of long sections
• Mechanical drives
  • Often used for cold extrusion of individual parts

Wire and Bar Drawing

• Cross-section of a bar, rod, or wire is reduced by pulling it through a die opening
• area reduction in drawing r
  • r = (A0-Af)/A0
  • A0 = orifinal area of work
  • Af = final work

Wire Drawing vs. Bar Drawing

• Difference is stock size
  • Bar: large diameter bar and rod stock
  • Wire: small diameter stock - wire sizes down to 0.03mm(0.001 in.)are possible

Drawing Practive and Products

• Drawing practive
  • Performed as cold working
  • Used for round cross-sections
• Products
  • Wire: electrical wire
  • Rod stock for nails, screws, rivets, springs
  • Bar stock: metal bars

Continuous Drawing

• Consisting of multiple draw dies separated by accumulating drums

Features of a Draw Die

• Entry region
• Approach
• Bearing surface
• Back relief
• Die materials

Preparation of the Work for Wire or Bar Drawing

• Annealing: to increase ductility of stock
• Cleaning: to prevent damage to work surface and draw die
• Pointing: to reduce diameter of starting end to allow insertion through draw die

Metal Forming

Metal Forming

• The tool, usually colled a die, applies stresses that exceed yield strength of metal

Stresses in Metal Forming

• Stresses to plastically deform the metal are usually compressive
• However, some forming processes
  • Stretch the metal(tensile stresses)
  • Other bend the metal(tensile and compressive)
  • Still others apply shear stresses

Material Properties in Metal Forming

• Desirable material properties
  • Low yield strength & high ductility
• These properties are affected by temperature
  • Ductility increases and yield strength decreases when work temperature is raised
• Other factors
  • Straint rate(변형속도) and friction

Bulk Deformation Processes

• Characterized by significant deformations and massive shape changes
• “Bulk” refers to workparts with relatively low surface area-to-volume ratios
• Starting work shapes include cylindrical billets and rectangular bars
• Basic bulk deformation processes: rolling, forging, extrusion, drawing

Sheet Metalworking

• High surface area-to-volume ratio of staring metal
• Basic sheet metalwokring operations: bending, drawing, shearing

Temperature in Metal Foraming

• Any deformation operation can be accomplished with lower forces and power at elevated temperature
• Three Temperature range in metal forming:
  • Cold
  • Warm
  • Hot working

Cold Working

• Performed at room temperature(보통 20도) or slightly above
• Important mass production operations
• Minimum or no machining usually required
  • These operations are near net shape or net shape processes

Advantages of Cold Forming vs. Hot Working

• Better Accuracy, closer toleratnces
• Better surface finish
• Strain hardening(변형 강화) increases strength and hardness
• Grain flow during deformation can cause desirable directional Properties in product
• No heating of work required

Disadvantages of Cold Forming

• Higher forces and power required
• Surfaces of staring workpiece must be free of scale and dirt
• Ductility and strainhardening limit the amount of forming that can be done

Warm Working

• Performed at temperatures above room temperature but below recrystallization temperature
• Dividing line between cold working and warm working often expressed in terms of melting point:
  • 0.3Tm, where Tm = melting point for metal(absolute temperature)

Advantages of Warm Working

• Lower forces and power than in cold working
• More intricate work geometries possible
• Need for annealing may be reduced or eliminated

How Working

• Deformation at temperature above recrystallization temperature
• Recrystallization temperature = about one-half of melting point on absolute scale
  • In practive, hot working usually performed somewhat above 0.5Tm
  • Metal continues to soften as temperature increases above 0.5Tm, engancing advantage of hot working above this level

Why Hot Working?

• Capability for substaintial plastic deformation
• Why?
  • Strength coefficient is substantially less than at room temperature
  • Strain hardening exponent is zero(theoretically) Ductility is significantly increased

Advantages of Hot Working vs. Cold Working

• Workpart shape can be significantly altered
• Lower forces and power required
• Metals that usually fracture in cold working can be hot formed
• Strength properties of product are generally isotropic
• No strengthening of part occurs from work hardening
  • Advantageous in cases when part is to be subsequently processed by cold forming

Disadvantages of Hot Working

• Lower dimensional accuracy
• Higher total energy required(due to the thermal energy to heat the workpiece)
• Work surface oxidation, poorer surface finish
• Shorter tool life

Friction in Metal Forming

• In most metal forming processes, friction is undesirable
  • Metal flow is retarted
  • Forces and power are increased
  • Wears tooling faster
• Friction and tool wear are more severe in hot woriking

Lubrication in Metal Forming

• Metalworking lubricants are applied to tool-work interface in many forming operations to reduce garmful effects of friction
• Benefits
  • Reduces sticking, forces, power, tool wear
  • Better surface finish
  • Removes heat from the tooling

Considerations in Choosing a Lubricant

• Type of forming processes(rolling, forging, sheet metal drawing, etc.)
• Hot working or cold working
• Work material
• Chemical reactivity with tool and work metals
• Ease of application
• Cost

6장 정보입력 및 처리

정보표시

• 간접 감지 상황에서 인간공학이 설계과정에 적용됨

표시장치로 나타내는 정보의 종류

• 표시장치로 나타내는 정보에는 정적 정보와 동적 정보
• 정적정보는 시간 경과에 관계없이 고정
• 동적정보는 시간에 따라 계속 변화

1. 정량적 정보, 정확한 숫자 파악, 변수의 정량적 값을 표시
2. 정성적 정보, 경향이나 변화 파악: 변수의 가변적 일면을 표시
3. 상태 정보, 여러 경우(정상-비정상 등) 중 어디 해당하는지 선택 개념, 정성적 정보기도 함
4. 경고 및 신호 정보, 상태정보 중 특별히 경고를 위한 것, 일종의 상태 정보
5. 식별 정보, 어떤 것인지 있는 그대로 확인하기 위한, 크게보면 상태정보지만 선택이 아닌 있는 그대로 확인
6. 묘사정보, 배경과 중첩된 요소 파악
7. 영숫자 및 기호 정보, 언어, 수치와 관련된 코드화 정보 표시
8. 시간 위상 정보, 지속시간이나 간격을 조절한 신호(모스부호, 점멸등)

표시 양식의 선정

• 온기, 소리, 맛 등의 감각 종류를 감각 양식(modalities, 5가지 감각)이라고 함
• 정보 전달용 표시장치 선정 혹은 설계 시 적절한 감각 양식 선택 필요

시각과 청각 표현 용도 비교

청각 시각

정보의 코드화

• 코드화: 원래의 자극 정보를 새로운 형태로 바꾸고 기호로 표시
• 코드화할 때는 여러 차원 사용
• 정보를 포함하는 자극차원의 효과는 자극을 식별하는 사람의 능력과 두가지 이상의 자극을 구별하는 능력에 달림

표시장치 설계 순서

• 전달 정보 종류 파악 → 자극 형태 따라 감각 양식 선택 → 표시 장치 선택 → 코딩 방법 → 차원 선택

코드화할 때 고려할 수 있는 사항들

절대적 판단과 상대적 판단

• 절대적 판단은 자극이 하나이므로 비교 불가, 사실은 기억 속에서 비교
• 상대적 판단은 두 가지 이상의 자극을 비교, 차원에 따라 상대적으로 구별

단일차원에서의 절대적 판단

• 매직넘버 7 +- 2
• 여러 차원에도 적용 (5~9)
• 감각기관의 한계보다는 기억의 한계 때문
• 시각적 코드화 방법
  • 단일 숫자 10개, 문자 26개
  • 색상 9개, 색-채도-명도 24개 이상

다차원에서의 절대적 판단

• 차원의 수는 많고 각 차원의 수준 수가 적을 때가 반대 경우보다 더 좋다
• 코드화에서 다차원 사용 시 서로 직교하거나 중복하는 경우 있음
• 모양과 색상이 직교 차원(독립): 빨간 원, 초록 원, 빨간 사각형, 초록 사각형
• 모양과 색상이 중복 차원: 원은 모두 초록, 사각형은 모두 빨강
  • 한 차원의 값으로 다른 차원 값을 예측 가능

직교차원의 조합

• 차원이 직교하면 절대적 기준에서 식별 가능한 자극 수 증가
• 그 수는 각 차원의 별도 확인할 수 있는 자극 수를 곱한 것 보다는 적음
• 가능하면 다차원-직교로 만들어야 함

중복차원의 조합

• 차원을 중복 조합하면 단일 차원 사용 시보다 확인할 수 있는 수준 증가
• 그래도 직교적 코드일때가 더 구분 가능한 자극 수가 많음

좋은 코딩시스템의 특징

1. 코드의 검출성

• 검출 가능해야 함
• ex) 지하 채광 장비에서 색깔 코드를 사용하면 검출성 낮음
• 검출성 측정을 위해 검출 시도회수의 일정 비율(50%) 이상을 검출 할 수 있는 자극의 하한값 설정

1. 코드의 구별성

• 여러 신호를 구별 가능해야 함
• 코드 기호는 다른 코드 기호와 구별될 수 있어야 함
• 피실험자에게 기준 자극을 제시하고 다양한 다른 자극을 제시하며 기준 자극과 같은지 다른지 판단하게 함
• 이 차이를 차이역 또는 변별역이라 함

1. 코드의 의미화

• 사용자에게 의미가 있는 코드 사용
• 개념 양립성에 관한 것

1. 코드의 표준화

• 어떤 상황에서나 같은 것을 사용

1. 양립성
2. 다차원 코드의 사용

• 다차원 코드를 사용하면 코드 자극 수와 식별성 증가
• 차원수 많고 수준이 적은 코드 고려
• 작업의 특수 요건과 필요 코드 수에 따라 중복 또는 직교 사용 고려

양립성(제일 중요하다)

• 자극 및 응답이 인간의 예상과의 관계를 말함
• → 자극과 반응이 사람의 기대에 부합하는 정도
• 양립성이 클수록 정보처리에서 재코드화 과정이 적음
• 결과적으로 학습과 응답시간이 빨라짐, 오류 적어짐, 정신적 작업부하 감소

양립성의 종류

• 개념, 동작, 공간 3가지
• 네번째 양식 양립성이 추가됨

개념 양립성

• 코드와 기호가 사람들이 가지고 있는 개념과 얼마나 부합하는가
• 코드의 의미와 관련

동작 양립성

• 제어 장치의 움직임과 표시 장치로 나타낸 시스템의 응답이 잘 부합하는지

공간 양립성

• 제어 장치와 관련 표시 장치의 공간적 배열에 관한 것

양식 양립성

• 작업에 따라서 그에 알맞은 자극-응답 양식의 조합
• 음성작업에서 양립성이 가장 좋은 조합은 음성표현과 음성응답
• 공간작업에서는 시각표현과 수동응답
• A/S: 소리로 들려주고 음성 대답
• V/S: 보여주고 음성 대답
• A/M: 소리로 들려주고 손으로 조작(몸으로)
• V/M: 보여주고 손으로 조작(몸으로)

양립관계의 기원

1. 어떤 상황에서 양립성 관계는 본질적: 오른쪽으로 가기 위해 핸들 오른쪽으로 돌림
2. 다른 양립성 관계는 습관이나 문화와 관련된 특성에서 파생

Deep Learning

Deep Learning

• Neural network와 Machine Learning의 한 분야
• 심층신경망을 기반으로 하는 학습 방법
• 음성인식, 영상인식 등 패턴인식 등에서 좋은 성과

Deep Neural Network;DNN (심층신경망)

• 여러 개의 Hidden Layer를 가진 신경망 계열의 모델
• 다층 신경망의 특수한 경우, 기존은 3~4개의 Hidden Layer
• Layer의 수가 많은 신경망 구조
• Convolutional Neural Network(CNN): Layer 개수 많아지기 시작
• DNN의 배경: 80년대 중반 다층 퍼셉트론 연구 이후 침체기 → 프로세서 성능향상과 빅데이터로 학습 시작

DNN 탄생 배경

• 기존 신경망의 Hidden Layer의 개수를 늘려 좀 더 정교한 학습 필요해짐
• CPU, GPU 성능이 향상
• 병렬 분산처리 가능
• 학습을 통한 전처리 과정이 추가되어 효율 향상
• 빅데이터 학습 가능한 환경
• 기존 신경망
  • 학습 데이터에서 직접 Feature 추출하여 입력으로 사용
  • Feature Vector에 따라 학습 결과에 영향 줌
• 딥러닝
  • 학습을 위해 필요한 특징 추출과 학습을 함께 수행

Convolutional Neural Network; CNN

• 합성곱 연산을 사용하는 합성곱 신경망
• Feature Map을 이용하여 학습
• 영상분석, 영상인식, 컴퓨터 비전 등
• Instant Segmentation

Recurrent Neural Network; RNN

• 순환신경망은 데이터에서 규칙적인 패턴을 인식
• 노드 간의 연결이 순환적 구조를 가지는 것이 특징
• 시간에 따라 변하는 특징을 가지는 데이터를 잘 처리
• LSTM과 혼합 사용

Restricted Boltzmann Machine; RBM

• 비지도 학습에 활용
• 입력에 대한 확률 분포를 학습할 수 있는 신경망

Deep Belief Network; DBN

• RBM을 여러 층으로 쌓아올린 구조
• 비지도 학습 가능

Generative Adversarial Network; GAN

• 생성적 적대 신경망
• 서로 경쟁하는 두 개의 신경망에 의해 구현

Issues in Deep Learning

Vanishing Gradient Problem

• Hidden Layer가 많아질수록 전달되는 오차의 크기가 줄어들어 학습이 되지 않는 현상
• 1보다 작은 오차를 계속 곱하면 점점 0으로 가까워짐, 컴퓨터 수치 연산에서 0에 가까워지다가 underflow 발생 가능
• Dropout, ReLU 사용으로 해결

Initializing Weights

• 신경망 성능에 영향 주는 요소
• 일반적으로 0에 가까운 random value 사용
• 개선된 가중치 초기화 방법 사용
  • RBM을 학습시킨 결과 사용: unsupervised learning
  • singular value decomposition을 통해 orthogonal matrix로 초기화

Overfitting

• 모델이 train data에 지나치게 학습된 상태
• training error는 낮으나 test error가 높음
• Regularization, Dropout, Batch normalization으로 완화
  • Regularization: 가중치의 크기를 학습 모델 함수에 추가
  • Dropout: 일정 확률로 노드를 무작위 선택하여 학습에 참여, mini batch마다 dropout할 노드를 새롭게 선택
  • Mini-batch: 전체 학습 데이터를 일정 크기로 나눔, mini batch 단위로 학습

Regularization

• 데이터 확대: 데이터를 더 많이 수집하면 학습 모델의 일반화 성능 좋아짐
• 데이터 생성
  • 충분히 많은 데이터를 수집하기 어려움
  • 인위적으로 데이터를 확대 → 훈련 과정에서 데이터 변형, 데이터 회전 또는 warping
• Weight Decay 방식

Casting

• Classification of solidification processes
  • Metals
  • Glassworking
  • Polymers and PMCs
• Casting
  • Steps
    1. Melt the metal
    2. Pour it into a mold
    3. Let it freeze
• : Process in which molten metal flows by gravity or other force into a mold where it solidifies in the shape of the mold cavity

Capabilities and Advantages of Casting

1. Can create complex part geometries
2. Can create both external and internal shapes
3. Some casting processes are net shape; others are near net shape
4. Can produce very large parts
5. Some casting methods are suited to mass production

Disadvantages of Casting

1. Limitations on mechanical properties
2. Poor dimensional accuracy and surface finish for some processes
3. Safety hazards to workers due to hot molten metals
4. Environmental problems

The Mold in Casting

• Contains cavity whose geometry determines part shape
• Actual size and shape of cavity must be slightly oversized to allow for shrinkage of metal during solidification and cooling

Two Categories of Casting Process

• Expendable mold processes: 석고, 회반죽
• Permanent mold processes: 내화물

Advantages and Disadvantages

• More intricate geometries are possible with expendable mold processes
• Part shapes in permanent mold processes are limited by the need to open mold
• Permanent mold processes are more economic in high production operations

Forming the Mold Cavity

• Mold cavity is formed by packing sand around a pattern, which gas the shape of the part
• When the pattern is removed, the ramaining cavity has desired shape of cast part
• The pattern is usually oversized to allow for shrinkage of metal as it solidifies and cools
• Sand for the mold is moist and contains a binder to maintain shape

Cores in the Mold Cavity

• The mold cavity provides the external surfaces of the cast part
• In addition a casting may have internal surfaces, determined by a core, places inside the mold cavity to define the interior geometry of part

Gating System

• Channel through which molten metal flows into cavity from outside of mold
• Consists of a downsprue, through which metal enters a runner leading to the main cavity
• At top of down sprue, a pouring cup is often used to minimize splash and turbulence as the metal flows into downsprue

Riser

• Reservoir in the mold which is a source of liquid metal to compensate for shrinkage during solidification
• The riser must be designed to freeze after the main casting in order to satisfy its function
• 의도적으로 main cavity보다 느리게 굳도록 design
• liquid metal을 보충

Heating the Metal

• The heat required is the sum of
  • Heat to raise temperature to melting point
  • Heat of fusion to convert from solid to liquid
  • Heat to raise molten metal to desired tempreaure for pouring

Pouring the Molten Metal

• Factors that determine success
  • Pouring temperature
  • Pouring rate
  • Turbulence

Chvorinov’s Rule

• TST: total solidification time
• TST =

  

• V = Volume of the casting
• A = Surface area of casting
• n = exponent usually taken to have a value = 2
• C = mold constant

디지털제조입문 과제로 SMT2020 논문을 읽고 ppt 5장 분량으로 요약했다

논문 읽기는 좋아하지만, 시간제한이 있는건 싫고,

요약하는건 도움 될거라 생각하지만 반도체 fab 시뮬레이션 모델에 대해서는 큰 흥미가 없어요

그래도 어쨌든 열심히 한 과제니까

Denny Kopp, Michael Hassoun, Adar Kalir, Lars Monch,2020, SMT2020—A Semiconductor Manufacturing Testbed, IEEE Transactions on Semiconductor Manufacturing ( Volume: 33, Issue: 4, November 2020)

https://ieeexplore.ieee.org/document/9115710