chapter1 pytorch 기초

머신러닝과 딥러닝의 경우 각 레이어의 노드 수가 증가할수록, 레이어의 수가 깊어질수록 파라미터의 수는 급격히 증가.

파라미터 수를 무조건 늘리는 것이 중요한 것이 아니라 해당 task를 수행하기 위해 적절한 수의 파라미터 수를 할당하고 학습에 이용되지 않는 데이터에 대해서도 task를 정확히 수행하기 위한 일반화 과정이 필요하다.

 

Top-1Accuracy:모델의 예측한 결괏값 중 가장 높은 확률로 예측한 클래스가 실제 클래스와 동일한지를 평가하는 엄격한 기준

Top-5Accuracy:모델의 예측한 결괏값 중 상위 5개의 확률에 대해 실제 클래스가 포함되는지를 평가하는 비교적 덜 엄격한 기준

 

동일한 성능 - 파라미터 수가 적을수록 계산해야 할 변수가 줄어듦

파라미터 수가 비슷 - 성능이 높은 것

 

G-FLOPs = GPU FLoating Operations Per Second

초당 부동소수점 연산 >> GPU의 성능을 측정하는 요소

 

CPU  vs GPU

CPU는 GPU에 비해 고차원의 일을 수행할 수 있는 능력을 지님

너무 많은 수의 파라미터 값을 계산하기에는 속도가 많이 느리다.

GPU는 파라미터 값을 병렬적으로 빠르게 계산할 수 있다.

 

 

가상환경

독립된 작업 공간

분석가가 각 모듈별로 다른 버전을 이용해야 할 때 이용

 

CUDA

GPU에서 병렬 처리를 수행하는 알고리즘을 각종 프로그래밍 언어에 사용할 수 있도록 해주는 GPGPU(General-Purpose computing on Graphics Processing Units)기술

 

cuDNN

nvidia CUDA Deep Neural Network Library

딥러닝 모델을 위한 GPU 가속화 라이브러리의 기초 요소와 같은 일반적인 루틴을 빠르게 이행할 수 있도록 해주는 라이브러리

 

Docker

모듈별로 다른 버전 뿐 아니라 각 프로그래밍의 버전 및 개발 환경자체를 독립적인 공간으로 활용해 관리할 수 있는 플랫폼

컨테이너 기반의 오픈소스 가상화 플랫폼

 

jupyter notebook

반응형 프로그램

 

 

Tensor

데이터를 표현하는 단위

2차원 이상의 배열

 

Scalar

상수값, 하나의 값을 표현할 때 1개의 수치로 표현한 것

 

Vector

하나의 값을 표현할 때 2개 이상의 수치로 표현한 것, 여러 수치 값을 이용해 표현하는 방식

 

행렬(Matrix)

2개 이상의 벡터 값을 통합해 구성된 값 >> 2차원 배열

벡터 값 간 연산 속도를 빠르게 진행할 수 있는 선형대수의 기본 값.

*곱셈

- 행렬 값 간 사칙연산 : 스칼라벡터 사칙연산과 동일하게 - torch.mul

- 벡터 및 행렬 간 사칙연산 : 각 요소별로 계산 >> 행렬 곱 연산 - torch.matmul

 

 

Autograd

Back Propagation을 이용해 파라미터를 업데이트하는 방법은 Autograd 방식으로 쉽게 구현할 수 있도록 설정돼어 있다.