본문 바로가기

LinkedIn
깃허브 바로가기

1️⃣ AI•DS/📒 Deep learning25

[딥러닝 파이토치 교과서] 자연어처리를 위한 임베딩 더보기 👀 임베딩 • 임베딩 : 사람의 언어를 컴퓨터가 이해할 수 있는 언어 (숫자) 형태인 벡터로 변환한 결과 • 임베딩의 역할 ↪ 단어 및 문장 간 관련성 계산 ↪ 의미적 혹은 문법적 정보의 함축 (ex. 왕-여왕, 교사-학생) ① 희소표현 기반 임베딩 : 원핫인코딩 • Sparse representation : 대부분의 값이 0으로 채워져 있는 경우로 대표적인 방법이 원핫인코딩 • 원핫인코딩 : 단어 N 개를 각각 N 차원의 벡터로 표현하는 방식 from sklearn import preprocessing label_encoder = preprocessing.LabelEncoder() onehot_encoder = preprocessing.OneHotEncoder() a = label_encoder.. 2022. 12. 30.

[딥러닝 파이토치 교과서] 7장 시계열 I 1️⃣ 시계열 문제 🔹 시계열 분석이란 ↪ 시간에 따라 변하는 데이터를 사용해 추이를 분석하는 것으로 주가/환율변동, 기온/습도변화 등이 대표적인 시계열 분석에 해당한다. ↪ 추세파악, 향후전망 예측에 시계열 분석을 사용한다. 🔹 시계열 형태 ↪ 데이터 변동 유형에 따라 구분할 수 있다. 불규칙변동 예측 불가능하고 우연적으로 발생하는 변동. 전쟁, 홍수, 지진, 파업 등 추세변동 GDP, 인구증가율 등 장기적인 변화 추세를 의미한다. 장기간에 걸쳐 지속적으로 증가, 감소하거나 일정 상태를 유지하려는 성격을 띈다. 순환변동 2~3년 정도의 일정한 기간을 주기로 순환적으로 나타나는 변동 계절변동 계절적인 영향과 사회적 관습에 따라 1년 주기로 발생하는 것을 의미 🔹 시계열 데이터 ↪ 규칙적 시계열 vs 불규.. 2022. 11. 10.

[딥러닝 파이토치 교과서] 5장 합성곱 신경망 Ⅰ https://colab.research.google.com/drive/1uB-7ckV-Mrh0Zfugv9OIm7QuM_j2OLg5?usp=sharing [딥러닝 파이토치 교과서] chapter 05 합성곱 신경망.ipynb Colaboratory notebook colab.research.google.com 1️⃣ 합성곱 신경망 🔹 합성곱 층의 필요성 🌠 연산량 감소 • 이미지 전체를 한 번에 계산하는 것이 아닌, 국소적인 부분을 계산함으로써 시간과 자원을 절약하고 이미지의 세밀한 부분까지 분석할 수 있는 신경망 🌠 이미지/영상 처리에 유용한 구조 • 1차원 벡터로 펼쳐서 가중치로 계산하지 않고, 이미지 데이터의 공간적 구조 (예. 3x3) 를 유지하기 위해 합성곱층이 존재한다. • 다차원 배열 데이터.. 2022. 10. 6.

[딥러닝 파이토치 교과서] 4장 딥러닝 시작 https://colab.research.google.com/drive/1j9ghqmP-QboSbipZ7LjzbRrpTq4Mhqo8?usp=sharing [딥러닝 파이토치 교과서] chapter 04 딥러닝 시작.ipynb Colaboratory notebook colab.research.google.com 1️⃣ 인공 신경망의 한계와 딥러닝 출현 🔹 XOR 비선형 문제 🌠 퍼셉트론 • 선형 분류기로 딥러닝의 기원이 되는 알고리즘 • 다수의 신호를 입력으로 받아 하나의 신호 (1 또는 0 : 흐른다/안흐른다) 를 출력 🌠 논리 게이트 • OR 과 AND 게이트는 데이터가 선형적으로 분리된다. • XOR 게이트는 베타적 논리합 구조 (입력 두개 중 한개만 1일 때 작동하는 논리연산) 를 가지고 있는데, 이.. 2022. 10. 4.

[딥러닝 파이토치 교과서] 2장 실습 환경 설정과 파이토치 기초 ✅ 파이토치 기초 https://colab.research.google.com/drive/1ki4W3rwTExhmZp5E-Ic81ab2NMe8iRHB?usp=sharing [딥러닝 파이토치 교과서] chapter 02 파이토치 기초.ipynb Colaboratory notebook colab.research.google.com 1️⃣ 파이토치 개요 🔹 특징 및 장점 ∘ 연산을 위한 라이브러리 → 딥러닝 프레임워크로 발전 ∘ GPU 에서 텐서 조작 및 동적 신경망 구축이 가능한 프레임워크 ✔ GPU : 연산을 빠르게 하는 역할, 내부적으로 CUDA, cuDNN 같은 API 를 통해 연산 가능 ✔ 텐서 : 파이토치의 데이터 형태로, 다차원 행렬 구조를 가진다. .cuda() 를 사용해 GPU 연산을 수행할 .. 2022. 9. 23.

[딥러닝 파이토치 교과서] 1장 머신러닝과 딥러닝 ✅ 머신러닝과 딥러닝 1️⃣ 인공지능, 머신러닝과 딥러닝 ◇ 인공지능 : '인간의 지능을 모방' 하여 사람이 하는 일을 기계가 할 수 있도록 하는 기술 ◇ 인공지능 > 머신러닝 > 딥러닝 ∘ 머신러닝 : 인공신경망, 서포트 벡터 머신, 결정 트리 ∙∙∙ ∘ 딥러닝 : CNN, RNN, RBM ∙∙∙ ✔ https://koreapy.tistory.com/1223 : RBM 설명 참고 ◇ 머신러닝과 딥러닝의 차이 ∘ 머신러닝 : Input > 특성 추출 (인간이 처리) > 분류 (컴퓨터가 처리) > output ∘ 딥러닝 : Input > 특성 추출 + 분류 (컴퓨터가 처리) > output ∘ 데이터에 대한 특징을 스스로 처리하는지의 여부에 따라 딥러닝과 머신러닝이 구분된다. ✔ feature extrac.. 2022. 9. 22.

[Pytorch 딥러닝 입문] 파이토치 기초 📌 공부 참고 자료 : https://wikidocs.net/book/2788 PyTorch로 시작하는 딥 러닝 입문 이 책은 딥 러닝 프레임워크 PyTorch를 사용하여 딥 러닝에 입문하는 것을 목표로 합니다. 이 책은 2019년에 작성된 책으로 비영리적 목적으로 작성되어 출판 ... wikidocs.net 📌 코딩 실습 https://colab.research.google.com/drive/11uzhksM-MYSf1_YcMzrOnEL6glhu1OiL?usp=sharing 파이토치로 시작하는 딥러닝 입문.ipynb Colaboratory notebook colab.research.google.com ✅ 파이토치 기초 1️⃣ 파이토치 패키지 기본 구성 ◇ torch : 넘파이와 유사한 구조를 가지며 다양.. 2022. 9. 14.

[인공지능] 딥러닝 모델 경량화 📌 경량화 : 딥러닝 모델 사이즈를 줄이기 모델 경량화는 하드웨어와 연관이 많이 되어있음 딥러닝 모델의 크기는 계속 커지고 있기 때문에 하드웨어에서 잘 동작시키기 위해서 관련 연구가 필요함 📌 Ever Increasing Model Size 모델 크기가 커지는 이유는 정확도 때문 → 모델의 크기가 커질 수록 representation power 가 증가 📌 Downside 모델 크기를 늘려 정확도를 증가시키는 것은 2가지 단점을 불러일으킨다. 연산량 증가 메모리 점유율 증가 : 메모리에 모델 파라미터를 올려서 구동 (저장) → 메모리가 작은 휴대폰, 임데디드 시스템에서는 거대한 AI 를 동작시키기 어려움 메모리 bandwidth 증가 : 메모리로부터 CPU 또는 GPU 로 데이터를 전송해야 하는데, 이때.. 2022. 6. 21.

[인공지능] Federated Learning , Distributed Learning Summary ✨ Federated learning ◾ Exploits huge amount of data across clients ◾ data is non-IID ◾ Brief indroduction of FedAvg ✨ Distributed learning ◾ Make training Faster ◾ Data evenly distributed ◾ data parallel : Forward pass, Backward pass , Weight update 👉 Communication : Allreduce - ring reduction, One-host reduction ◾ Model parallel 👉 inter-layer parallel (pipeline) : sub-minibatches, inter.. 2022. 6. 15.

[인공지능] Meta learning , Transfer learning Summary ✨ Meta learning ◾ Few-shot learning ✨ Transfer learning : knowledge 를 전달 ◾ Fine-Tuning → dataset 이 부족한 경우 ◾ Knowledge distillation → 모델 경량화를 하고자 하는 경우 ◾ Domain adaptation → 같은 도메인에 있지만, 학생 도메인의 데이터셋이 부족한/레이블이 없는 경우 ◾ Inductive/unsupervised → 다른 task 를 수행하기 위해 1️⃣ Meta learning ① Meta learning 기계가 아는지 모르는지 구분이 가능하다. 🔘 learning to learn ◾ 메타학습은 여러가지 task 에 대해서 일반화될 수 있는 모델을 학습하는 것을 목표로 한다 .. 2022. 6. 14.

이전 1 2 3 다음

728x90

티스토리툴바