[06. 차원축소] PCA, LDA, SVD, NMF

01. 차원축소

---

👀 개요 

 

• 매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것 
• PCA, LDA, SVD, NMF 알고리즘 

 

차원이 큰 경우	차원이 작은 경우
sparse 한 구조 👉 예측 신뢰도 하락	시각화가 가능해 직관적으로 데이터를 해석하는 것이 가능해진다.
피처별 상관관계가 높을 수 있음 👉 다중 공선성 문제로 예측 성능 저하	학습에 필요한 처리 능력을 줄일 수 있다.

 

📌 피처 선택 vs 피처 추출 

 

• 피처 선택 : 특정 피처에 종속성이 강한 불필요한 피처를 아예 제거하여 데이터의 특징을 잘 나타내는 주요한 피처만 선택하는 방식 
• 피처 추출 : 기존 피처를 저차원의 중요 피처로 압축해서 추출 👉 단순한 압축이 아닌, 피처를 함축적으로 더 잘 설명할 수 있는 잠재적인 요소를 추출해 또 다른 공간으로 매핑하는 것 

 

 

📌 이미지, 텍스트 

 

• 매우 많은 차원을 가진 데이터로, 차원축소를 통해 잠재적인 의미를 피처로 도출한다. 
• 이미지 데이터 👉 차원축소를 통해 함축적 형태의 이미지 변환, 압축을 수행할 수 있으며 이를 통해 과적합을 방지하여 예측 성능을 끌어 올릴 수 있다. 
• 텍스트 데이터 👉 텍스트 문서의 숨겨진 의미를 추출하는데 차원축소를 활용한다. '시맨틱 토픽 모델링' 을 위한 기반 알고리즘으로 SVD, NMF 가 쓰인다. 

 

 

 

 

02. PCA  

---

👀 개요 

 

💡 PCA 

 

✔ 가장 대표적인 차원축소 기법 

 

✔ 여러 변수 간에 존재하는 상관관계를 이용하여 이를 대표하는 주성분을 추출해 차원을 축소하는 기법이다. 

 

✔ 가장 높은 분산을 가지는 데이터의 축 = 주성분을 찾아 해당 축으로 차원을 축소한다. 여기서 분산은 데이터의 특성을 가장 잘 나타내는 것으로 간주하는 값이다. 

 

✔ 가장 큰 데이터 변동성을 기반으로 첫번째 벡터축을 생성하고 이 벡터 축에 직각이 되는 벡터 (직교벡터) 를 축으로 한다. 세번째 축은 다시 두번째 축과 직각이 되는 벡터를 설정하는 방식으로 축을 생성한다. 

 

 

 

 

1️⃣ 데이터 변동성이 가장 큰 방향으로 축을 생성

 

2️⃣ 새로운 축으로 데이터를 투영 

 

3️⃣ 새로운 축을 기준으로 데이터를 표현 

 

👉 원본 데이터의 피처 개수에 비해 매우 작은 주성분으로

원본 데이터의 총 변동성을 대부분 설명할 수 있는 분석법 

 

 

 

💡 선형대수학적으로 해석

 

✔ PCA = 입력 데이터의 공분산 행렬이 고유벡터와 고유값으로 분해될 수 있으며 이렇게 분해된 고유벡터를 이용해 입력 데이터를 선형변환 하는 방식 

 

 

https://jeonsm9575.tistory.com/46

 

 

 공분산 행렬을 👉 고유값 분해 💨 고유벡터, 고유값이 얻어짐

 

👻 공분산 행렬 = 여러 변수와 관련된 공분산 (→ 두 변수간의 변동을 의미) 을 포함하는 정방행렬

 

👻 고유벡터 = PCA 의 주성분 벡터로 입력 데이터의 분산이 큰 방향을 나타낸다. 

 

👻 고유값 = 고유벡터의 크기를 나타내며 동시에 입력 데이터의 분산을 나타낸다. 

 

👻 선형변환 = 특정한 벡터에 행렬 A를 곱해 새로운 벡터로 변환하는 것 = 다른 공간으로의 투영

 

 

→ 공분산 행렬 C 는 고유벡터 직교행렬 * 고유값 정방행렬 * 고유벡터 직교행렬의 전치 행렬로 분해됨 

 

 

💡 PCA 동작과정 

 

1. 입력 데이터 세트의 공분산 행렬을 생성한다.

2. 공분산 행렬의 고유벡터와 고유값을 계산한다.

3. 고유값이 가장 큰 순으로 K개(=PCA 변환 차수만큼) 고유벡터를 추출

4. 고유값이 가장 큰 순으로 추출된 고유벡터를 이용해 새롭게 입력 데이터를 변환

 

---

 

📌 실습 - iris

 

⭐ PCA 를 적용하기 전에 반드시 스케일링을 진행해야 한다 ⭐

• 여러 속성의 값을 연산해야하기 때문에 속성의 스케일에 영향을 받으므로 동일한 스케일로 변환하는 것이 필요

 

from sklearn.decomposition import PCA

 

 

🏃‍♀️ 01. 데이터 로딩, 스케일링

 

iris = load_iris() 
columns = ['sepal_length','sepal_width','petal_length','petal_width'] 
irisdf = pd.DataFrame(iris.data, columns = columns) 
irisdf['target'] = iris.target 
irisdf.head(3)

from sklearn.preprocessing import StandardScaler 

# target 값을 제외한 모든 속성값을 스케일링 
iris_scaled = StandardScaler().fit_transform(irisdf.iloc[:, :-1])

 

 

🏃‍♀️ 02. PCA

 

from sklearn.decomposition import PCA 
pca = PCA(n_components = 2) 

pca.fit(iris_scaled) 
iris_pca = pca.transform(iris_scaled) 
print(iris_pca.shape) 
# 2개의 차원으로 축소된 것을 확인해볼 수 있음 

(150, 2)


# 차원축소된 결과 확인해보기 : 주성분으로 명명 
pca_columns = ['pca_component_1','pca_component_2'] 
irisdf_pca = pd.DataFrame(iris_pca, columns = pca_columns) 
irisdf_pca['target'] = iris.target 
irisdf_pca.head(3)

 

 

시각화 결과

 

 

🏃‍♀️ 03. 주성분 변동성 설명 비율 확인 : .explained_variance_ratio_

 

# 주성분 변동성 설명 비율 확인해보기 
print(pca.explained_variance_ratio_) #📌 2개 요소로만 변환해도 원본 데이터의 변동성을 95%설명 가능

[0.72962445 0.22850762]

 

 

🏃‍♀️ 04. 원본 데이터세트 vs 차원축소된 데이터세트 : 분류결과 비교해보기 

 

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
import numpy as np

rcf = RandomForestClassifier(random_state=156) 
scores = cross_val_score(rcf, iris.data, iris.target, scoring = 'accuracy', cv=3)

print('원본 데이터 교차검증 개별 정확도 : ', scores) 
print('원본 데이터 평균 정확도 : ', np.mean(scores))

원본 데이터 교차검증 개별 정확도 :  [0.98 0.94 0.96]
원본 데이터 평균 정확도 :  0.96

 

pca_X = irisdf_pca[['pca_component_1', 'pca_component_2']] 
scores_pca = cross_val_score(rcf, pca_X, iris.target, scoring = 'accuracy', cv=3) 
print('원본 데이터 교차검증 개별 정확도 : ', scores_pca) 
print('원본 데이터 평균 정확도 : ', np.mean(scores_pca))


원본 데이터 교차검증 개별 정확도 :  [0.88 0.88 0.88]
원본 데이터 평균 정확도 :  0.88

#📌 정확도가 약 8% 감소 : 원본 데이터세트 대비 예측 성능이 당연히 떨어질 수 밖에 없다. 
#📌 그러나 속성개수가 50% 감소한 것을 고려하면 pca 변환 후에도 원본 데이터의 특성을 상당부분 유지함을 알 수 있다.

 

 

🤸‍♀️ corr( ) 을 통해 속성끼리의 상관성을 확인한 후 상관도가 높은 변수들을 대상으로 PCA 로 차원축소한다. 

 

 

 

 

03. LDA 

---

👀 개요 

 

💡 Linear Discriminant Analysis

 

✔ 선형 판별 분석법 

 

✔ PCA 와 매우 유사하게 입력 데이터 세트를 저차원 공간에 투영하여 차원을 축소하는 기법 

 

✔ 지도학습의 분류에서 사용하기 쉽도록 개별 클래스를 분별할 수 있는 기준을 최대한 유지하며 차원을 축소한다. 

 

PCA	LDA
입력 데이터의 변동성이 가장 큰 축	입력 데이터의 결정 값 클래스를 최대한 분리할 수 있는 축

 

 

✔ 클래스 간 분산 (between) 과 클래스 내부 분산 (within) 의 비율을 최대화 하는 방식으로 차원을 축소한다 💨 클래스 간 분산은 최대한 크게, 클래스 내부 분산은 최대한 작게 

 

 

 

 

💡 LDA 동작과정 

 

✔ LDA 는 공분산 행렬이 아니라 클래스 간 분산과 클래스 내부 분산 행렬을 구하여 이에 기반해 고유벡터를 구하고 입력 데이터를 투영한다. 

 

1. 클래스 내부와 클래스 간 분산 행렬을 구한다. 이 두 개의 행렬은 입력 데이터의 결정 값 클래스별로 개별 피처의 평균 벡터를 기반으로 구한다.

2. Sw, Sb 행렬을 고유벡터로 분해한다. Sw'Sb 👉 고유벡터*고유값*고유벡터'

3. 고유값이 가장 큰 순으로 K개(=LDA변환 차수만큼) 고유벡터를 추출

4. 고유값이 가장 큰 순으로 추출된 고유벡터를 이용해 새롭게 입력 데이터를 변환

 

---

 

 

📌 실습 - iris

 

 

LDA 를 적용하려면 스케일링은 필수, LDA fit 메서드를 호출할 때 target 값을 넣어주는 것도 잊지 않기

 

 

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

 

 

🤸‍♀️ PCA 는 비지도학습, LDA 는 지도학습 

 

 

 

🏃‍♀️ 01. 데이터 로딩, 스케일링

 

# 데이터 로드, 스케일링
iris = load_iris() 
iris_scaled = StandardScaler().fit_transform(iris.data)

 

 

 

🏃‍♀️ 02. LDA 적용

 

# LDA 적용
lda = LinearDiscriminantAnalysis(n_components=2) 
lda.fit(iris_scaled, iris.target) #📌 타겟 클래스 값이 변환시에 필요! 
iris_lda = lda.transform(iris_scaled) 
print(iris_lda.shape) 
# 차원축소된 데이터셋 결과

(150, 2)

 

 

 

 

 

 

 

 

04. SVD 

---

👀 개요 

 

💡 Singular value decomposition 특이값 분해

 

✔ PCA 와 유사한 행렬 분해 기법을 사용하는 차원축소 방법이다. 이때 PCA 는 정방행렬만을 고유벡터로 분해할 수 있으나, SVD 는 일반적인 크기를 갖는 행렬을 분해할 수 있다. 

 

https://angeloyeo.github.io/2019/08/01/SVD.html

 

✔ U, V' : singluar vector 라 부른다. 모든 특이벡터는 서로 직교하는 성질을 가진다. 

 

✔ Σ : 대각행렬의 모습을 띄고 있으며 0이 아닌 값이 행렬 A의 특이값에 해당한다. 

 

 

https://angeloyeo.github.io/2019/08/01/SVD.html

 

 

✔ 일반적으로 Σ 의 비대각인 부분과 대각원소중에 특이값이 0인 부분을 모두 제거하고 제거된 Σ 에 대응되는 U 와 V 원소도 함께 제거해 차원을 줄인 형태로 SVD 를 적용한다. 

 

 

💡 Truncated SVD

 

✔ Truncated SVD 는 Σ 의 대각원소 중에 상위 몇 개만 추출하여 여기에 대응하는 U와 V의 원소도 함께 제거해 더욱 차원을 줄인 형태로 분해하는 방법이다. 

 

 

 

💡 넘파이, 사이파이, 사이킷런 모듈

 

넘파이 SVD 모듈	from numpy.linalg import svd
사이파이 SVD 모듈	from scipy.linalg import svd
사이파이 Truncated SVD 모듈	from scipy.sparse.linalg import svds
사이킷런 Truncated SVD 클래스	from sklearn.decomposition import TruncatedSVD, PCA

 

 

 

---

 

 

📌 실습 - iris

 

🏃‍♀️ 01. 데이터 로딩

 

iris = load_iris()
iris_ftrs = iris.data

 

 

🏃‍♀️ 02. TruncatedSVD 적용

 

from sklearn.decomposition import TruncatedSVD, PCA 
tsvd = TruncatedSVD(n_components=2) 
tsvd.fit(iris_ftrs) 
iris_tsvd = tsvd.transform(iris_ftrs) 
iris_tsvd

 

 

 

 

• Scaler + TruncatedSVD = PCA 결과 👉 데이터 세트가 스케일링으로 데이터 중심이 동일해지면 사이킷런의 SVD 와 PCA 는 동일한 변환을 수행한다. 

 

 

• PCA 는 밀집행렬에 대한 변환만 가능하고, SVD 는 희소행렬에 대한 변환도 가능하다. 

 

 

📌 SVD 활용 

 

• 컴퓨터 비전 : 이미지 압축을 통한 패턴 인식과 신호처리 분야 
• 텍스트 : 토픽 모델링 기법인 LSA의 기반 알고리즘에 활용됨

 

 

 

05. NMF 

---

👀 개요 

 

💡 Non Negative Matrix Fatorization

 

✔ Truncated SVD 처럼 낮은 랭크 (low rank) 를 통한 행렬 근사 방식의 변형이다. 

 

✔ 원본 행렬 내의 모든 원소 값이 모두 양수 (0 이상) 이라는게 보장되면 W와 H 라는 두 개의 기반 양수 행렬로 분해될 수 있는 기법에 해당한다. 

 

 

🐾 분해된 행렬은 '잠재요소' 를 특성으로 가지게 된다.

 

 

👻 W : 원본 행에 대해 잠재요소의 값이 얼마나 되는지에 대응 

 

• 행 : 원본 데이터의 행의 개수에 해당 (R1, R2, R3, R4) , 열 : 잠재요소에 해당 (LF1, LF2) 

 

👻 H : 잠재요소가 원본 열 (원본 데이터의 속성) 로 어떻게 구성되었는지 나타내는 행렬 

 

• 행 : 잠재요소에 해당 (LF1, LF2) , 열 : 원본 데이터의 열의 개수에 해당 (C1,...,C6)

 

 

---

 

 

📌 실습 - iris

 

from sklearn.decomposition import NMF

 

🏃‍♀️ 01. 데이터 로딩

 

iris = load_iris()
iris_ftrs = iris.data

 

🏃‍♀️ 02. NMF 적용

 

from sklearn.decomposition import NMF 
nmf = NMF(n_components=2) 
nmf.fit(iris_ftrs) 
iris_nmf = nmf.transform(iris_ftrs)

 

 

 

📌 활용

 

• 컴퓨터 비전 : 이미지 압축을 통한 패턴 인식과 신호처리 분야 
• 텍스트 : 토픽 모델링 기법, 문서 유사도 및 클러스터링
• 추천 시스템 : Latent Factoring 기반 추천방식