deep learning11

• 

  [ResNet] Deep Residual Learning for Image Recognition Deep Residual Learning for Image Recognition Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with arxiv.org Abstract 신경망이 깊을수록 training이 어려워진다. Residual Network는 심층적인 네트워크의 training을 용이하게 하기 위해 .. 논문 리뷰 2022. 2. 15.

• 

  [HRNet] Deep High-Resolution Representation Learning for Visual Recognition 논문 리뷰 Deep High-Resolution Representation Learning for Visual Recognition High-resolution representations are essential for position-sensitive vision problems, such as human pose estimation, semantic segmentation, and object detection. Existing state-of-the-art frameworks first encode the input image as a low-resolution represen arxiv.org 논문 리뷰 2022. 2. 14.

• 

  Semantic Segmentation Training/Evaluation (PyTorch) PyTorch 기반의 Semantic Segmentation의 github를 찾았다. GitHub - CSAILVision/semantic-segmentation-pytorch: Pytorch implementation for Semantic Segmentation/Scene Parsing on MIT ADE20K Pytorch implementation for Semantic Segmentation/Scene Parsing on MIT ADE20K dataset - GitHub - CSAILVision/semantic-segmentation-pytorch: Pytorch implementation for Semantic Segmentation/Scene Par... github.com 먼저, Pre-t.. Computer Vision 2022. 2. 11.

• 

  Transfer Learning (전이 학습) (+ Fine Tuning) Transfer learning (TL) is a research problem in machine learning (ML) that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem. - Definition of Wekipedia - 일반적으로 CNN 기반의 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요하다. 하지만 대용량의 데이터셋을 구축하는데엔 많은 비용과 시간이 든다. 이러한 문제점을 해결하기 위해 Transfer Learning (전이 학습)이 사용된다. Tranfer Learning (전이 학습)이란 학습 데이터가 부족한 분야의 모.. Machine Learning 2022. 2. 2.

• 

  YOLO (You Only Look Once) v4 Review 1개의 GPU만으로 BoF, BoS 기법을 적용하여 효율적이고 정확한 Object Detection이 가능 기존 YOLO v1 ~ v3에서 바뀐 점? 기존 YOLO는 작은 물체에 취약 YOLO v4는 다양한 작은 object들을 잘 검출하기 위해 input resolution을 크게 사용 (224, 256 → 512) Receptive field를 물리적으로 키워주기 위해 layer 수를 늘림 하나의 image에서 다양한 종류, 크기의 object들을 검출하기 위해 parameter 수를 키움 속도 관점에서 이득을 보기 위해 CSPNet 기반의 backbone을 사용 YOLO v4의 구조 Backbone : CSP-Darknet 53 Neck : SPP (Spatial Pyramid Pooling), P.. 논문 리뷰 2021. 10. 18.

• 

  Generalization (일반화) Generalization : 학습 data와 input data가 달라져도 출력에 대한 성능 차이가 나지 않게 하는 것, 즉 다른 외부의 data를 넣어도 Training data로 모델을 학습한 것과 거의 비슷한 결과를 얻는 것 Generalization 성능 향상 방법 Early Stopping Enrich Training Data Ensembles Regularization Early Stopping Data의 갯수가 많지 않다면 early stop이 좋다. Enrich Training Data Label-preserving Augmentations : (X, y) → (X', y) X : Training Data y : target data Label-perturbing Augmentations.. Machine Learning 2021. 10. 18.

• 

  Initialization (초기화) Training Process of Neural Network Initialize the parameters. → critical to the model's ultimate performance Choose the optimization algorithm. Repeat steps below. 1. Forward propogate an input. 2. Compute the cost function. 3. Compute the gradients of the cost with respect to parameters using back propagation. 4. Update each parameter using the gradients, according to the optimization algorithm.. Machine Learning 2021. 10. 18.

• 

  [CS131] Lecture 3 & 4 (Convolutions, Cross-Correlation, Seperable Filters) 본 게시글은 Standford University (Department of Computer Science)의 강의 자료를 바탕으로 공부한 내용입니다. Images that we deal in computer vision are digital. (discrete representations of the photographed scenes). Image is also treated as a function f : $R^2$ → $R^N$ eg) Part 1 : Convolutions Convolution : System that uses information from neighboring pixels to filter the target pixel Commutative Property (교환 법칙) Shi.. Computer Vision/CS131 2021. 7. 18.

• 

  [Chapter 8] 딥러닝 (Deep Learning) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. Deep Learning : 층을 깊게 한 심층 신경망 (Deep Neural Network) Deep Neural Network는 hidden layer (은닉층)을 많이 쌓아 parameter (매개변수)를 늘리는 방식으로 모델의 표현력을 높인다. 매개변수를 훈련할 충분한 학습 데이터를 확보하지 않으면 모델의 성능을 저해하는 overfitting (과적합) 문제가 상대적으로 더 쉽게 발생한다. 과적합 : 모델이 훈련 데이터에만 지나치게 적응해 테스트 데이터 또는 새로운 데이터에는 제대로 반응하지 못하는 현상 하지만 양질의 데이터를 대량 확보하는 데엔 많은 비용.. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.

• 

  [Chapter 7] 합성곱 신경망 (CNN) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. Fully-Connected (완전연결) 신경망은 인접하는 계층의 모든 뉴런과 결합된다. 문제점 : 데이터의 형상이 무시된다. 즉, 완전연결 계층에 입력할 때는 3차원 데이터를 평평한 1차원 데이터로 평탄화 해주어야 한다. (이미지의 경우 3차원 데이터 : 가로, 세로, 채널(색상)) 이미지는 3차원 형상이며, 이 형상에는 공간적 정보가 담겨 있지만, 완전연결 계층은 형상을 무시하고 모든 입력 데이터를 동등하게 같은 차원의 뉴런으로 취급하여 형상에 담긴 정보를 살릴 수 없다. 해결방법 : 합성곱 계층은 형상을 유지한다. 이미지도 3차원 데이터로 입력 받으며 다음 .. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.

• 

  [Chapter 5] 오차역전파법 (Back Propagation) 본 글은 '밑바닥부터 시작하는 딥러닝' 책을 참조하여 정리한 요약본입니다. 혹여나 제가 잘못 이해하고 있다면 댓글로 알려주시면 감사하겠습니다. 신경망의 가중치 매개변수에 대한 손실 함수의 기울기 → ‘수치미분’을 사용하여 구함 Problem 수치미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸린다. MLP의 파라미터 개수가 많이지면서 각각의 weigh와 bias를 학습시키는 것이 매우 어려워진다. Solution ‘Backpropagation (오차역전파법)’을 사용하여 가중치 매개변수의 기울기를 효율적으로 계산한다. Gradient Descent Algorithm : If we are using thousands of weigh, it is impossible to identify w value. .. ML 관련 서적 개념요약/밑바닥부터 시작하는 딥러닝 2021. 5. 24.