[Pytorch 딥러닝 입문] 파이토치 기초

 

 

📌 공부 참고 자료 : https://wikidocs.net/book/2788

PyTorch로 시작하는 딥 러닝 입문

 

 

📌 코딩 실습 

 

https://colab.research.google.com/drive/11uzhksM-MYSf1_YcMzrOnEL6glhu1OiL?usp=sharing 

파이토치로 시작하는 딥러닝 입문.ipynb

 

 

 

 

 

 

 

✅ 파이토치 기초 

 

 

 

1️⃣ 파이토치 패키지 기본 구성 

---

 

◇ torch : 넘파이와 유사한 구조를 가지며 다양한 수학 함수가 포함되어 있다. 

 

◇ torch.autograd : 자동 미분을 위한 함수들이 포함되어져 있다. 

 

◇ torch.nn : 신경망을 구축하기 위한 다양한 데이터 구조나 레이어 등이 정의되어져 있다. RNN, LSTM 같은 레이어, ReLU 같은 활성화 함수, MSELoss 같은 손실함수들이 있다. 

 

◇ torch.optim: 확률적 경사하강법 SGD 를 중심으로 한 파라미터 최적화 알고리즘이 구현되어져 있다. 

 

◇ torch.utils.data : SGD 반복 연산을 실행할 때 사용하는 미니배치용 유틸리티 함수가 포함되어져 있다. 

 

◇ torch.onnx : 서로다른 딥러닝 프레임워크 간에 모델을 공유할 때 사용하는 포맷 

 

 

 

 

2️⃣  텐서 조작하기 

---

 

 

🔹 벡터 행렬 텐서 

 

• 벡터 : 1차원으로 구성된 값

• 행렬 : 2차원으로 구성된 값 

• 텐서 : 3차원 이상으로 구성된 값 → 데이터사이언스 분야 한정 3차원 이상 텐서는 그냥 다차원 행렬 또는 배열로 간주 

 

⇒  딥러닝을 다룰때 행렬 또는 텐서의 크기를 고려하는 것은 매우 중요 

 

 

 

 

 

🔹 기본 세팅 : 2D Tensor 

 

• 2D : batch size X dimension 

• 예시 : 64 X 256 

 

• 훈련 데이터 하나의 크기가 [3,1,2,5 ... ] 이런 숫자들의 나열이 256개가 있어, 256이라고 한다면, 훈련 데이터 하나에 벡터의 차원을 256 이라고 볼 수 있다. 
• 이런 훈련 데이터가 3000개가 있다고 하면, 전체 데이터 크기는 3000 X 256 이고 행렬 형태이므로 2D 텐서에 해당한다. 
• 컴퓨터는 보통 덩어리로 데이터를 처리하는데, 3000개에서 64개씩 꺼내 처리한다고 하면 이때 64를 batch size 라고 한다. 
• dimension = 256 , batch size = 64 

 

 

 

 

🔹 비전 분야에서의 텐서 : 3D Tensor 

 

• 3D : batchsize , width, height 

• 자연어처리 보다 비전 (영상, 이미지) 분야에서 더 복잡한 텐서를 다루게 된다. 

• 이미지는 가로 , 세로 그리고 여러 장의 이미지 (batch size) 로 구성되면 3차원의 텐서가 된다. 

 

 

 

→ 세로 : batch size , 가로 : width, 높이 : height 

 

 

 

 

 

🔹 자연어 분야에서의 텐서 : 3D Tensor 

 

• 3D : batchsize , length, dim 

• 자연어 처리는 (batch size, 문장의 길이, 단어 벡터의 차원) 이라는 3차원 텐서를 사용한다. 

 

 

 

• 자연어 처리 3D 텐서 형성 예시 

 

4개의 문장으로 구성된 훈련 데이터

 

컴퓨터의 이해를 위해 단어별로 나누어 준다 → 4x3 크기를 가지는 2D 텐서

 

 

컴퓨터는 숫자를 더 잘 이해 함 → 각 단어를 3차원 벡터로 변환

 

 

재구성한 훈련 데이터 → 4 x3 x 3 크기를 가지는 3D 텐서

 

 

batch size = 2 , 각 배치의 텐서 크기 = (2 x 3 x 3)

 

 

→ 각 배치의 텐서 크기 = (batch size x 문장길이 x 단어벡터의 차원) = (2 x 3 x 3) 

 

 

 

🔹 넘파이로 텐서 만들기 

 

 

 

 

🔹 파이토치 텐서 선언하기 

 

 

• import torch 

• torch.FloatTensor( [리스트] )

• torch.dim() 

• torch.shape 

 

 

 

🔹 브로트캐스팅 기능 

 

 

• 딥러닝을 하게되면 크기가 다른 행렬 또는 텐서에 대해 사칙연산을 수행할 필요가 있는 경우가 발생하는데, 이때 파이토치에서 자동으로 크기를 맞춰 연산을 수행하게 만드는 브로드캐스팅 기능을 제공한다. 

 

 

 

 

 

🔹 행렬 곱셈 

 

 

• 행렬 곱셈 : .matmul 

 

   m1.matmul(m2) 

 

 

• 원소별 곱셈 : .mul 혹은 * 

 

  

  m1.mul(m2) 

  m1*m2 

 

 

 

 

 

🔹 평균 

 

• torch.mean() 

• torch.mean(dim=n)    :  해당 행(0)  또는  열(1) 방향을 제외한 기준으로 연산 진행 

 

 

 

 

 

🔹 덧셈 

 

• torch.sum() 

 

 

 

 

🔹 최대와 아그맥스 

 

 

• torch.max()[0] : 최대값을 반환 

• torch.max()[1] : 최대값이 위치한 인덱스를 반환 

 

 

 

 

🔹 뷰 View - 원소의 수를 유지하면서 텐서의 크기를 변경 

 

• 넘파이의 reshape 와 비슷한 역할을 한다. 

 

• torch.view( [바꿀 차원] ) 

 

 

 

• view 는 기본적으로 변경 전과 후의 텐서 안의 원소의 개수가 유지되어야 한다. 

• 파이토치의 view 는 사이즈가 -1로 설정되면 다른 차원으로부터 해당 값을 유추한다. 

 

 

 

 

 

🔹 스퀴즈 Squeeze - 1인 차원을 제거한다. 

 

• torch.squeeze() 

 

 

 

🔹 언스퀴즈 Unsqueeze - 특정 위치에 1인 차원을 추가한다. 

 

• torch.unsqueeze(n) :  n+1 번째 차원에 1을 추가 

 

 

 

→ view(), squeeze(), unsqueeze() 는 텐서의 원소수를 그대로 유지하면서 모양과 차원을 조절한다. 

 

 

 

 

🔹 타입 캐스팅 

 

 

• torch.LongTensor : 64비트의 부호 있는 정수 

• torch.cuda.FloatTensor : GPU 연산을 위한 자료형 

• torch.ByteTensor() : 가령 [True, False] 라는 리스트를 입력하면 [1,0] 으로 반환해준다. 

• .long() 이나 .float() 로 간단하게 형 변환을 할 수도  있다. 

 

 

 

🔹 연결하기 concat 

 

• torch.cat( [x,y] , dim = n ) : x 텐서와 y 텐서를 연결하되 n 번째 차원을 늘리도록 연결 

 

 

• 딥러닝은 주로 모델의 입력 또는 중간 연산에서 두 개의 텐서를 연결하는 경우가 많다. 두 텐서를 연결해서 입력으로 사용하는 것은 두 가지 정보를 모두 사용한다는 의미를 가짐 

 

 

 

 

🔹 스택킹 Stacking 

 

• 스택킹이 많은 연산을 포함하고 있어서, 연결하는 기능은 concat 과 똑같지만 스택킹을 사용하는게 더 편리할 수도 있다. 

 

• torch.stack( [x,y,z] )

 

•  같은 기능을 concat 으로 구현하려면 unsqueeze(0) 으로 (1,2) 크기로 바꾸어 주어야 한 다음 연결해야 하므로 꽤나 복잡하다 

 

•  dim 인자를 지정해서 특정 차원이 증가하도록 조정할 수 있다. 

 

 

🔹 0 으로 채워진 텐서, 1로 채워진 텐서 

 

• torch.ones_like()  

• torch.zeros_like()  

 

 

 

🔹 덮어쓰기 연산 

 

• 연산 뒤에 _ 표시를 붙이면 기존의 값을 덮어쓰기 한다. 

• EX :  torch.mul_() 

 

 

 

 

 

3️⃣ 파이썬 클래스 Class 

---

 

 

🔹 함수와 클래스의 차이 

 

class Calculator:
    def __init__(self): # 객체 생성 시 호출될 때 실행되는 초기화 함수. 이를 생성자라고 한다.
        self.result = 0

    def add(self, num): # 객체 생성 후 사용할 수 있는 함수.
        self.result += num
        return self.result

 

• 클래스는 붕어빵 틀 같이 클래스를 생성한 후, 이걸로 객체라는 것을 만들 수 있다. 

 

• 두 개의 덧셈기를 함수로 구현하면 아래와 같은데 

 

 

 

• 이를 맨 위에서 정의한 클래스를 사용하면 

 

cal1 = Calculator()
cal2 = Calculator()

# 객체 2개를 생성하고 

print(cal1.add(3))
print(cal1.add(4))
print(cal2.add(3))
print(cal2.add(7))

# 객체별로 독립적인 연산을 시행할 수 있다.

 

클래스를 통해 별도의 객체를 생성하자 코드가 훨씬 간결해진다.