1️⃣ AI•DS176 [인공지능] DNN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 요약 ① Universal approximation theorem ② Activation function ③ DNN : why deep? ④ Random Initialization - tanh, ReLU : 가중치가 0으로 고정 - sigmoid : 가중치가 suboptimal matrix 형태로 업데이트 ⑤ Application example : Face recognition 1️⃣ Universal approximation thm , activation function ① Universal approximation theorems 👀 충분한 가중치가 적용되었을 때, MLP 로 어떠한 함수도 근사시킬 수 있다. hidden layer 에.. 2022. 4. 23. [cs224n] 7강 내용 정리 Vanishing Gradients and Fancy RNNs 💡 주제 : Vanishing Gradients and Fancy RNNs 📌 핵심 Task : 문장이 주어질 때 지금까지 나온 단어들 이후에 나올 단어를 예측 Sequential data : 순서가 의미 있으며 순서가 달라질 경우 의미가 손상되는 데이터로 순환신경망을 사용하는 이유는 입력을 순차데이터로 받거나, 출력을 순차 데이터로 내기 위해서다. RNN : 다음에 올 단어를 예측하는 과제를 효과적으로 수행하기 위해 도입한 NN 의 일종 👉 문제점 : 기울기소실/폭증, 장기의존성 LSTM : RNN 의 장기의존성의 문제점을 보완해 등장한 모델 👉 cell state , 3 개의 gate 개념을 도입 1️⃣ Language model, RNN.. 2022. 4. 21. [인공지능] MLP 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 요약 ① multiple layer 가 필요한 이유 - XOR 문제 - feature extraction and classification ② Multi-layer perceptron - gradient descent - backpropagation algorithm 1️⃣ MLP ① MLP란 👀 Perceptron vs Multi layer Perceptron Perceptron : 뉴런이 하나만 존재하는 경우 MLP (multi-layer perceptron) : 뉴런(퍼셉트론)이 여러개가 존재하며 층을 이룬다. layer : 뉴런과 뉴런 사이의 시냅스 층을 지칭함 🤔 뉴런이 열거된 부분을 layer 라고 칭하며 hidden layer.. 2022. 4. 21. [인공지능] Basic Neural Network 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 📐 목차 ① 파블로프의 개 예제 perceptron 모델링 ② Training a Perceptron - Gradient desecent - example ③ batch computing, epoch, hyperparameter 1️⃣ Neuron 으로 '파블로프의 개' 모델링 해보기 ① Example 👀 용어 정리 Activation = Feature Synaptic weight = filter = kernel : 시냅스 강도 Thresholding = Activation Function 👀 Training 가중치를 조절하여 학습을 진행한다. 2️⃣ Training a Perceptron ① Neuron 의 수학 공식 ② Gradient.. 2022. 4. 21. [인공지능] Introduction to AI/Deep learning 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 1️⃣ Introduction to AI ① AI Definition 👀 Rationality 목표를 최대한으로 당설할 수 있도록 합리적인 행동 (act rationally) 을 하는 것 = AI 연산을 통해 합리적인 행동을 한다는 측면에서 AI 는 컴퓨터 과학의 뿌리다. 👀 약인공지능 vs 강인공지능 Narrow AI : 체스두기, 엘레베이터 조절하기 등과 같은 특정한 (specific) 문제를 해결하는 인공지능 Strong AI : 인간의 인지 능력에 대한 범위까지 능가하는 인공지능 (act & thinking) ② History of AI 👀 역사 50/60년대 : Neural network 의 등장 (인공뉴런의 개념) 💨 모호성/복.. 2022. 4. 21. Tabnet 0️⃣ Tabnet Tree 기반 모델의 변수 선택 특징을 네트워크 구조에 반영한 딥러닝 모델 1️⃣ 배경 ✔ 기존 딥러닝 모델은 이미지, 음성, 언어와 같은 비정형 데이터에만 적용되었음 ✔ 정형 데이터 Tabular Data 는 최근까지도 kaggle 같은 여러 대회에서 XGBoost, LightGBM, CatBoost와같은 Tree기반의 앙상블 모델을 주로 사용했음 👀 딥러닝의 점진적 학습 특성 + 사전학습 가능성은 새로운 분석 기회를 도출 👀 트리기반 모델 + 신경망 모델 구조 의 장점을 모두 갖는 Tabnet 을 제안 👉 feature selection & engineering + 모델 해석력을 갖춘 신경망 모델 2️⃣ Tabnet 논문 리뷰 🧐 앙상블 모델이 딥러닝 모델보다 우수한 이유 (1) .. 2022. 3. 31. [05. 회귀] 선형회귀, 다항회귀, 규제회귀, 로지스틱회귀, 회귀트리 👀 회귀분석 - 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계학 기법 - 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링 하는 기법을 통칭한다. - 종속변수는 숫자값(연속값) 이다. - 머신러닝 회귀 예측의 핵심은 '최적의 회귀계수' 를 찾아내는 것! 독립변수의 개수 회귀 계수의 결합 1개 : 단일회귀 선형 : 선형 회귀 여러개 : 다중 회귀 비선형 : 비선형 회귀 - 회귀 분석의 objective : RSS (오차제곱합) 을 최소로하는 회귀 변수 (w) 찾기 03. 경사하강법 📌 개요 💡 경사하강법 데이터를 기반으로 알고리즘이 스스로 학습한다는 개념을 가능하게 만들어준 핵심 기법 점진적으로 반복적인 계산을 통해 W 파라미터 값을 업데이트하면서 오류 값이 최소가 되는.. 2022. 3. 25. [cs224n] 6강 내용 정리 💡 주제 : Language models and RNN (Recurrent Neural Network) 📌 핵심 Task : 문장이 주어질 때 지금까지 나온 단어들 이후에 나올 단어를 예측 RNN : 다음에 올 단어를 예측하는 과제를 효과적으로 수행하기 위해 도입한 NN 의 일종 📌 목차 / 내용 1. Language model (1) Language model 이란 ✔ 정의 단어의 시퀀스(문장) 에 대해 얼마나 자연스러운 문장인지를 '확률' 을 이용해 예측하는 모델 Language modeling = 주어진 단어의 시퀀스에 대해 다음에 나타날 단어가 어떤 것인지를 예측하는 작업 특정 문장에 확률을 할당한다. 문장의 단어 w(1), w(2) , ... w(t) 가 주어졌을 때 다음에 올 단어 w(t+1).. 2022. 3. 24. [cs224n] 5강 내용 정리 💡 주제 : Dependency Parsing 📌 핵심 Task : 문장의 문법적인 구성, 구문을 분석 Dependency Parsing : 단어 간 관계를 파악하여 단어의 수식 (문법) 구조를 도출해내기 📌 목차 1. Dependency Parsing 이란 (1) Parsing ✔ 정의 각 문장의 문법적인 구성이나 구문을 분석하는 과정 주어진 문장을 이루는 단어 혹은 구성 요소의 관계를 결정하는 방법으로, parsing의 목적에 따라 Consitituency parsing과 Dependency parsing으로 구분 ✔ 비교 토크나이징 : 문장이 들어오면 의미를 가진 단위로 쪼개주는 것 pos-tagging : 토큰들에 품사 tag 를 붙여주는 과정 Paring : 문장 분석 결과가 Tree 형태로 나.. 2022. 3. 22. [04. 분류] LightGBM, 스태킹 앙상블, Catboost 07. LightGBM 📌 개요 💡 LightGBM XGBoost 와 예측 성능은 비슷하지만 학습에 걸리는 시간이 훨씬 적으며 다양한 기능을 보유하고 있다. 카테고리형 피처의 자동 변환(원핫인코딩을 하지 않아도 됨) 과 최적 분할 수행 균형 트리 분할 방식이 아닌 리프 중심 트리 분할 방식을 사용한다. 그러나 적은 데이터 세트 (10,000건 이하) 에 적용할 경우 과적합이 발생하기 쉽다. 리프중심 트리 분할 Leaf wise : 트리의 균형을 맞추지 않고 최대 손실값을 가지는 리프노드를 지속적으로 분할한다. 학습의 반복을 통해 결국 균형트리 분할 방식보다 예측 오류 손실을 최소화할 수 있게 된다. 📌 하이퍼 파라미터 LightGBM 은 XGBoost 와 파라미터가 매우 유사하지만, 주의할점은 리프노드가.. 2022. 3. 20. 이전 1 ··· 14 15 16 17 18 다음 728x90
