본문 바로가기

분류 전체보기328

[05. 클러스터링] K-means, 평균이동, GMM, DBSCAN 1️⃣ K-means clustering 👀 개요 💡 k-means clustering ✔ 군집화에서 가장 일반적으로 사용되는 알고리즘 ✔ Centroid = 군집 중심점 이라는 특정한 지점을 선택해 해당 중심에 가장 가까운 포인트들을 선택하는 군집화 기법이다. 1. k 개의 군집 중심점을 설정 2. 각 데이터는 가장 가까운 중심점에 소속 3. 중심점에 할당된 데이터들을 대상으로 평균값을 구하고 그것을 새로운 중심점으로 설정 4. 각 데이터는 새로운 중심점을 기준으로 다시 가장 가까운 중심점에 소속됨 👉 중심점의 이동이 더이상 없을 때까지 반복 💡 장단점 💨 장점 ✔ 일반적인 군집화에서 가장 많이 활용되는 알고리즘 ✔ 알고리즘이 쉽고 간결함 💨 단점 ✔ 거리기반 알고리즘으로 속성의 개수가 많으면 군집화 .. 2022. 5. 7.
[인공지능] Regularization 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 1️⃣ Regularization ① Loss function (1) Cross Entropy loss function 분류문제에서 많이 사용되는 비용함수 ti 와 oi 의 거리를 측정하여 두 값이 다를수록 즉, 거리가 멀수록 loss 가 증가한다. 두 값의 차이가 1에 가까울수록 즉 error 가 존재할 때 loss 가 증가하고 차이가 0에 가까울수록 loss 가 낮아진다. ◾ ti : ground truth label ◾ oi : NN output ◾ C : number of class 👀 엔트로피가 높다 = NN 의 예측이 불확실하다. 👀 엔트로피가 낮다 = NN 의 예측이 확실하다. (2) Entropy 확률변수의 불확실성 확률변수.. 2022. 4. 26.
[인공지능] 다양한 CNN 모델 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 🏆 ImageNet Competition 기존에는 전통적인 ML 로 문제를 해결하다가, AlexNet 의 등장으로 CNN 이 해당 대회에서 획기적인 성능을 보임 👻 CONV 연산 기본 (in 3D conv) input channel = filter channel filter 의 개수 = output channel Output feature map 의 크기 구하는 공식 W2 = (W1 - F + 2P) / S +1 H2 = (H1 - F + 2P) / S +1 Maxpooling 연산 결과 (W1 - Ps) / S + 1 Ps 는 pooling size 1️⃣ AlexNet * CNN 파트에 각 layer 별 연산과정이 정리되어 있습니다. .. 2022. 4. 26.
[인공지능] Training CNN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 1️⃣ 복습 ① FC backpropagation 👉 dy(L) 에서 dz(L+1) 이 삽입되는 부분 이해할 것! 💨 dy(L) = (0-0t) * f'(zk) * W = dz(L+1) * W 💨 dz(L+1) = (0-0t) * f'(zk) = dy(L+1) * f'(zk) 💨 최종 끝단 layer dy(L+1) = dC/dy(L+1) = d {1/2*(0-0t)^2} / dy(L+1) = d {1/2*(0-0t)^2} / d0t = (0-0t) 👻 by chain rule activation gradient : dL / dy(L) = local gradient * weight local graidnet : dL / dz(L) weigh.. 2022. 4. 26.
[06. 차원축소] PCA, LDA, SVD, NMF 01. 차원축소 👀 개요 매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것 PCA, LDA, SVD, NMF 알고리즘 차원이 큰 경우 차원이 작은 경우 sparse 한 구조 👉 예측 신뢰도 하락 시각화가 가능해 직관적으로 데이터를 해석하는 것이 가능해진다. 피처별 상관관계가 높을 수 있음 👉 다중 공선성 문제로 예측 성능 저하 학습에 필요한 처리 능력을 줄일 수 있다. 📌 피처 선택 vs 피처 추출 피처 선택 : 특정 피처에 종속성이 강한 불필요한 피처를 아예 제거하여 데이터의 특징을 잘 나타내는 주요한 피처만 선택하는 방식 피처 추출 : 기존 피처를 저차원의 중요 피처로 압축해서 추출 👉 단순한 압축이 아닌, 피처를 함축적으로 더 잘 설명할 수 있는 .. 2022. 4. 24.
[인공지능] CNN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 1️⃣ CNN ① Architecture 👀 Convolution Neural Network 이미지 인식, 이미지 분류에서 좋은 성능을 보이는 모델이다. CNN 은 전결합 구조가 아니다 👉 시냅스 연결 개수가 적다 👉 weight 개수가 적다 💨 연산량이 적다 FC layer 보다 더 효과적으로 feature extraction 을 진행하고 이미지 데이터에 대해 좋은 성능을 보인다. ② ImageNet competition 👀 ImageNet 데이터셋 명칭으로 14000만개의 이미지 데이터셋이다. 1000개의 사물 종류에 대한 이미지가 담겨져 있다. 이미지 속에 존재하는 각 사물의 이름을 얼마나 잘 맞추는가에 관한 학술대회 ILSVRC 에.. 2022. 4. 23.
[인공지능] DNN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 요약 ① Universal approximation theorem ② Activation function ③ DNN : why deep? ④ Random Initialization - tanh, ReLU : 가중치가 0으로 고정 - sigmoid : 가중치가 suboptimal matrix 형태로 업데이트 ⑤ Application example : Face recognition 1️⃣ Universal approximation thm , activation function ① Universal approximation theorems 👀 충분한 가중치가 적용되었을 때, MLP 로 어떠한 함수도 근사시킬 수 있다. hidden layer 에.. 2022. 4. 23.
[cs224n] 7강 내용 정리 Vanishing Gradients and Fancy RNNs 💡 주제 : Vanishing Gradients and Fancy RNNs 📌 핵심 Task : 문장이 주어질 때 지금까지 나온 단어들 이후에 나올 단어를 예측 Sequential data : 순서가 의미 있으며 순서가 달라질 경우 의미가 손상되는 데이터로 순환신경망을 사용하는 이유는 입력을 순차데이터로 받거나, 출력을 순차 데이터로 내기 위해서다. RNN : 다음에 올 단어를 예측하는 과제를 효과적으로 수행하기 위해 도입한 NN 의 일종 👉 문제점 : 기울기소실/폭증, 장기의존성 LSTM : RNN 의 장기의존성의 문제점을 보완해 등장한 모델 👉 cell state , 3 개의 gate 개념을 도입 1️⃣ Language model, RNN.. 2022. 4. 21.
[인공지능] MLP 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 요약 ① multiple layer 가 필요한 이유 - XOR 문제 - feature extraction and classification ② Multi-layer perceptron - gradient descent - backpropagation algorithm 1️⃣ MLP ① MLP란 👀 Perceptron vs Multi layer Perceptron Perceptron : 뉴런이 하나만 존재하는 경우 MLP (multi-layer perceptron) : 뉴런(퍼셉트론)이 여러개가 존재하며 층을 이룬다. layer : 뉴런과 뉴런 사이의 시냅스 층을 지칭함 🤔 뉴런이 열거된 부분을 layer 라고 칭하며 hidden layer.. 2022. 4. 21.
[인공지능] Basic Neural Network 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 📐 목차 ① 파블로프의 개 예제 perceptron 모델링 ② Training a Perceptron - Gradient desecent - example ③ batch computing, epoch, hyperparameter 1️⃣ Neuron 으로 '파블로프의 개' 모델링 해보기 ① Example 👀 용어 정리 Activation = Feature Synaptic weight = filter = kernel : 시냅스 강도 Thresholding = Activation Function 👀 Training 가중치를 조절하여 학습을 진행한다. 2️⃣ Training a Perceptron ① Neuron 의 수학 공식 ② Gradient.. 2022. 4. 21.
728x90

티스토리툴바