본문 바로가기

1️⃣ AI•DS176

[cs224n] 4강 내용 정리 💡 주제 : Backpropagation and Computation Graphs 📌 목차 정리 1. Matrix gradient for NN (1) NN 의 과정 feedforward : X * W = output vector = predict 값 backpropagation : output vector 를 weight matrix 에 대해 미분 (2) 가중치 행렬 (parameter) 의 미분 Chain Rule : 함수의 연쇄법칙을 기반으로 이루어지는 계산 규칙 (합성함수의 미분) NN 은 chain rule 을 이용해 최종 scalar 값을 weight 로 미분해가며 가중치를 업데이트 하는 방식으로 학습을 진행한다. dz/dw 를 계산하는 과정 (3) Gradient Tips 변수를 잘 정의하고 .. 2022. 3. 18.
NLP deep learning 👀 위키독스 : https://wikidocs.net/35476 의 딥러닝 개요 파트 공부한 것 정리 (이미지 출처는 모두 위키독스 홈페이지) 📌 소프트맥스 회귀 로지스틱회귀 : 이진 분류 문제 VS 소프트맥스 회귀 : 다중 클래스 분류 문제 대표적인 다중 클래스 분류 예제 : iris 붓꽃 품종 분류 (k=3) Softmax function 클래스의 개수가 k 개일 때, k 차원의 벡터를 입력받아 각 클래스에 대한 확률을 추정한다. zi : k차원의 벡터에서 i 번째 원소 pi : i 번째 클래스가 정답일 확률 k 차원의 벡터를 입력 → 벡터 원소 값을 0과 1 사이의 값으로 변경 → 다시 k 차원의 벡터를 반환 👀 샘플 데이터 벡터(4차원) 을 소프트맥스 함수의 입력벡터 3차원으로 축소하는 방법? 👉.. 2022. 3. 15.
[04. 분류] GBM, XGboost 05. GBM 📌 개요 및 실습 💡 부스팅 알고리즘 여러개의 약한 학습기를 순차적으로 학습 - 예측하면서 잘못 예측한 데이터에 가중치 부여를 통해 오류를 개선해 나가면서 학습하는 방식이다. 대표 알고리즘 : AdaBoost, Gradient Booting Machine(GBM), XGBoost, LightGBM, CatBoost 1️⃣ AdaBoost → 오류 데이터에 가중치를 부여하면서 부스팅을 수행하는 대표적인 알고리즘 (교재 그림 확인) from sklearn.ensemble import AdaBoostClassifier from sklearn.metrics import accuracy_score clf = AdaBoostClassifier(n_estimators=30, random_state=10.. 2022. 3. 14.
[cs224n] 3강 내용 정리 💡 주제 : Word Window Classification, NN and Matrix Calculus 📌 핵심 Task : 분류 - 개체명 분류 (Named Entity Recognition) 📌 목차 정리 1. Classification Review / introduction NLP 에서의 분류 문제 👉 input data : 단어, 문장, 문서 등 👉 Class : 감정분류, 개체명 분류 (Named entity) , 같은 의미/품사의 단어끼리 분류 등 👉 결정경계 (decision boundary) 를 결정할 Weight 를 학습 지도학습 👉 Train set → Loss function → Validation / Test set 손실함수 👉 예측한 데이터(y hat) 의 확률분포와 실제 데이터(.. 2022. 3. 14.
[cs224n] 2강 내용 정리 💡 주제 : Word vectors and Word Senses 📌 핵심 Task : 단어 임베딩 - Word2vec (2강) , Glove (3강) 📌 목차 정리 1. 최적화 Gradient Descent Stochastic Gradient Descent 학습 데이터 중에서 랜덤하게 샘플을 한개씩 뽑아 gradient 를 계산한 후 업데이트 하는 방식 계산량이 적음 & 학습이 빠름 & local min 에 빠지지 않고 학습될 수 있음 word vector 가 sparse 해짐 → 불필요한 계산 발생 2. Word2vec 의 계산 효율성 높이기 (SGD 외) Negative Sampling 등장 배경 : softmax 를 출력층에서 계산할 때, 전체 단어를 대상으로 벡터 내적과 exp 계산을 취해주어야 .. 2022. 3. 14.
[01,02] 머신러닝 개요 01. 파이썬 기반의 머신러닝과 생태계 이해 import numpy as np 👀 Numpy 함수 및 메서드 np.array() np.arange() np.zeros() np.ones() 👀 인덱싱 [ ] , 슬라이싱 [ : ] 👀 행렬의 정렬 : np.sort() , ndarray.sort(), np.argsort() 👀 선형대수 연산 : np.dot() import pandas as pd 👀 DataFrame 데이터 불러오기 정보 확인하기 👀 정렬, aggregation 함수, Groupby 적용 DataFrame.sort_values( by = , ascending = True, inplace = True) 연산함수 : min , max, sum, median, count (※ axis = 0 행,.. 2022. 3. 13.
728x90

티스토리툴바