머신러닝7

• 

  [패턴인식과 머신러닝] 다항식 곡선 피팅 예시를 통한 머신러닝 개요 해당 게시물은 'Pattern Recognition and Machine Learning) - Christoper M. Bishop'을 참고하여 정리한 정리본입니다. Machine Learning (머신 러닝) : N개의 숫자들${x_1, .. , x_n}$을 Training set (훈련 집합)으로 활용해서 변경 가능한 모델의 매개변수들을 조절하는 방법 target vector $t$ (표적 벡터) : 해당 숫자의 정체가 실제로 무엇인지를 나타낸다. 이미지 $x$에 대한 표적 벡터 $t$는 하나다. $y(x)$ : Machine Learning 알고리즘의 결과물 새로운 이미지 $x$를 입력값으로 받았을 때 대상 벡터와 같은 방식으로 부호화된 벡터 $y$를 출력하는 함수 Training (Leaning).. ML 관련 서적 개념요약/패턴인식과 머신러닝 2022. 1. 23.

• 

  Generalization (일반화) Generalization : 학습 data와 input data가 달라져도 출력에 대한 성능 차이가 나지 않게 하는 것, 즉 다른 외부의 data를 넣어도 Training data로 모델을 학습한 것과 거의 비슷한 결과를 얻는 것 Generalization 성능 향상 방법 Early Stopping Enrich Training Data Ensembles Regularization Early Stopping Data의 갯수가 많지 않다면 early stop이 좋다. Enrich Training Data Label-preserving Augmentations : (X, y) → (X', y) X : Training Data y : target data Label-perturbing Augmentations.. Machine Learning 2021. 10. 18.

• 

  Initialization (초기화) Training Process of Neural Network Initialize the parameters. → critical to the model's ultimate performance Choose the optimization algorithm. Repeat steps below. 1. Forward propogate an input. 2. Compute the cost function. 3. Compute the gradients of the cost with respect to parameters using back propagation. 4. Update each parameter using the gradients, according to the optimization algorithm.. Machine Learning 2021. 10. 18.

• 

  Parameter & Hyper-Parameter (파라미터 & 하이퍼파리미터) Parameter : Model 내부, data로부터 값이 추정될 수 있는 configuration value Hyper-Parameter : Model 외부, data로부터 값이 추정될 수 없는 configuration value Hyper-Parameter는 정해진 최적의 값이 없다. Heuristic한 방법이나 경험 법칙 (Rules of Thumb)에 의해 결정된다. Parameter과 Hyper-Parameter을 구분하는 기준은 사용자가 직접 설정하느냐 아니냐이다. 사용자가 직접 설정하면 Hyper-Parameter, 모델 혹은 데이터에 의해 결정되면 Parameter이다. Parameter (파라미터) A model parameter is a configuration variable that.. Machine Learning 2021. 8. 17.

• 

  Ensemble Learning (앙상블 학습) : Bagging & Boosting 앙상블 (Ensemble) 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과를 이용하여 더 정확한 예측값을 구하는 것 여러 개의 결정 트리 (Decision Tree)를 결합하여 하나의 결정 트리보다 더 좋은 성능을 내는 머신러닝 기법 여러 개의 약 분류기 (Weak Classifier)를 결합하여 강 분류기 (Strong Classifier)을 만드는 것 앙상블 학습법 : 배깅 (Bagging), 부스팅 (Boosting) 배깅 (Bagging : Bootstrap Aggregation) 샘플을 여러번 뽑아 (Bootstrap) 각 모델을 학습시켜 결과물을 집계 (Aggregation)하는 방법 데이터로부터 Bootstrap한다. Bootstrsp한 데이터로 모델을 학습시킨다. 학습된 모델의 .. Machine Learning 2021. 8. 17.

• 

  [Chapter 8] 딥러닝 (Deep Learning) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. Deep Learning : 층을 깊게 한 심층 신경망 (Deep Neural Network) Deep Neural Network는 hidden layer (은닉층)을 많이 쌓아 parameter (매개변수)를 늘리는 방식으로 모델의 표현력을 높인다. 매개변수를 훈련할 충분한 학습 데이터를 확보하지 않으면 모델의 성능을 저해하는 overfitting (과적합) 문제가 상대적으로 더 쉽게 발생한다. 과적합 : 모델이 훈련 데이터에만 지나치게 적응해 테스트 데이터 또는 새로운 데이터에는 제대로 반응하지 못하는 현상 하지만 양질의 데이터를 대량 확보하는 데엔 많은 비용.. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.

• 

  [Chapter 5] 오차역전파법 (Back Propagation) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. 신경망의 가중치 매개변수에 대한 손실 함수의 기울기 → ‘수치미분’을 사용하여 구함 Problem 수치미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸린다. MLP의 파라미터 개수가 많이지면서 각각의 weigh와 bias를 학습시키는 것이 매우 어려워진다. Solution ‘Backpropagation (오차역전파법)’을 사용하여 가중치 매개변수의 기울기를 효율적으로 계산한다. Gradient Descent Algorithm : If we are using thousands of weigh, it is impossible to identify w value. .. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.