Machine Learning10

• 

  [이상 탐지] CutPaste: Self-Supervised Learning for Anomaly Detection and Localization (CVPR 2021) CutPaste: Self-Supervised Learning for Anomaly Detection and Localization We aim at constructing a high performance model for defect detection that detects unknown anomalous patterns of an image without anomalous data. To this end, we propose a two-stage framework for building anomaly detectors using normal training data only. W arxiv.org Abstract Anomalous data 없이 unknown anomalous pattern을 이미지.. 논문 리뷰 2022. 2. 24.

• 

  Transformer (RNN, Seq2Seq의 한계점, Attention 메커니즘) Sequence model은 complex recurrent 혹은 encoder나 decoder을 포함하는 convolutional neural network를 기반으로 한다. 이 논문에서는 Attention 기법을 기반으로 하는 Transformer를 제안한다. 두 가지 machine translation task에 대한 실험에 따르면 이러한 모델은 성능이 우수하면서도 병렬화가 훨씬 용이하고 train 시간이 훨씬 적게 소요된다. 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다. GPT는 Transformer의 Decoder 아키텍쳐를 활용하고, BERT는 Transformer의 Encoder 아키텍처를 활용한다. Seq2Seq 모델의 한계점 기존 Seq2S.. Machine Learning 2022. 2. 17.

• 

  Transfer Learning (전이 학습) (+ Fine Tuning) Transfer learning (TL) is a research problem in machine learning (ML) that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem. - Definition of Wekipedia - 일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요하다. 하지만 대용량의 데이터셋을 구축하는데엔 많은 비용과 시간이 든다. 이러한 문제점을 해결하기 위해 Transfer Learning (전이 학습)이 사용된다. Tranfer Learning (전이 학습)이란 학습 데이터가 부족한 분야의 모.. Machine Learning 2022. 2. 2.

• 

  Generalization (일반화) Generalization : 학습 data와 input data가 달라져도 출력에 대한 성능 차이가 나지 않게 하는 것, 즉 다른 외부의 data를 넣어도 Training data로 모델을 학습한 것과 거의 비슷한 결과를 얻는 것 Generalization 성능 향상 방법 Early Stopping Enrich Training Data Ensembles Regularization Early Stopping Data의 갯수가 많지 않다면 early stop이 좋다. Enrich Training Data Label-preserving Augmentations : (X, y) → (X', y) X : Training Data y : target data Label-perturbing Augmentations.. Machine Learning 2021. 10. 18.

• 

  Initialization (초기화) Training Process of Neural Network Initialize the parameters. → critical to the model's ultimate performance Choose the optimization algorithm. Repeat steps below. 1. Forward propogate an input. 2. Compute the cost function. 3. Compute the gradients of the cost with respect to parameters using back propagation. 4. Update each parameter using the gradients, according to the optimization algorithm.. Machine Learning 2021. 10. 18.

• 

  Parameter & Hyper-Parameter (파라미터 & 하이퍼파리미터) Parameter : Model 내부, data로부터 값이 추정될 수 있는 configuration value Hyper-Parameter : Model 외부, data로부터 값이 추정될 수 없는 configuration value Hyper-Parameter는 정해진 최적의 값이 없다. Heuristic한 방법이나 경험 법칙 (Rules of Thumb)에 의해 결정된다. Parameter과 Hyper-Parameter을 구분하는 기준은 사용자가 직접 설정하느냐 아니냐이다. 사용자가 직접 설정하면 Hyper-Parameter, 모델 혹은 데이터에 의해 결정되면 Parameter이다. Parameter (파라미터) A model parameter is a configuration variable that.. Machine Learning 2021. 8. 17.

• 

  Ensemble Learning (앙상블 학습) : Bagging & Boosting 앙상블 (Ensemble) 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과를 이용하여 더 정확한 예측값을 구하는 것 여러 개의 결정 트리 (Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법 여러 개의 약 분류기 (Weak Classifier)를 결합하여 강 분류기 (Strong Classifier)을 만드는 것 앙상블 학습법 : 배깅 (Bagging), 부스팅 (Boosting) 배깅 (Bagging : Bootstrap Aggregation) 샘플을 여러번 뽑아 (Bootstrap) 각 모델을 학습시켜 결과물을 집계 (Aggregation)하는 방법 데이터로부터 Bootstrap한다. Bootstrsp한 데이터로 모델을 학습시킨다. 학습된 모델의 .. Machine Learning 2021. 8. 17.

• 

  [Chapter 8] 딥러닝 (Deep Learning) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. Deep Learning : 층을 깊게 한 심층 신경망 (Deep Neural Network) Deep Neural Network는 hidden layer (은닉층)을 많이 쌓아 parameter (매개변수)를 늘리는 방식으로 모델의 표현력을 높인다. 매개변수를 훈련할 충분한 학습 데이터를 확보하지 않으면 모델의 성능을 저해하는 overfitting (과적합) 문제가 상대적으로 더 쉽게 발생한다. 과적합 : 모델이 훈련 데이터에만 지나치게 적응해 테스트 데이터 또는 새로운 데이터에는 제대로 반응하지 못하는 현상 하지만 양질의 데이터를 대량 확보하는 데엔 많은 비용.. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.

• 

  [Chapter 7] 합성곱 신경망 (CNN) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. Fully-Connected (완전연결) 신경망은 인접하는 계층의 모든 뉴런과 결합된다. 문제점 : 데이터의 형상이 무시된다. 즉, 완전연결 계층에 입력할 때는 3차원 데이터를 평평한 1차원 데이터로 평탄화 해주어야 한다. (이미지의 경우 3차원 데이터 : 가로, 세로, 채널(색상)) 이미지는 3차원 형상이며, 이 형상에는 공간적 정보가 담겨 있지만, 완전연결 계층은 형상을 무시하고 모든 입력 데이터를 동등하게 같은 차원의 뉴런으로 취급하여 형상에 담긴 정보를 살릴 수 없다. 해결방법 : 합성곱 계층은 형상을 유지한다. 이미지도 3차원 데이터로 입력 받으며 다음 .. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.

• 

  [Chapter 5] 오차역전파법 (Back Propagation) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. 신경망의 가중치 매개변수에 대한 손실 함수의 기울기 → ‘수치미분’을 사용하여 구함 Problem 수치미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸린다. MLP의 파라미터 개수가 많이지면서 각각의 weigh와 bias를 학습시키는 것이 매우 어려워진다. Solution ‘Backpropagation (오차역전파법)’을 사용하여 가중치 매개변수의 기울기를 효율적으로 계산한다. Gradient Descent Algorithm : If we are using thousands of weigh, it is impossible to identify w value. .. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.