[01,02] 머신러닝 개요

01. 파이썬 기반의 머신러닝과 생태계 이해 

---

import numpy as np

👀 Numpy 함수 및 메서드 

• np.array() 
• np.arange() 
• np.zeros() 
• np.ones() 

👀 인덱싱 [ ] ,  슬라이싱 [ : ]

👀 행렬의 정렬 : np.sort() , ndarray.sort(), np.argsort() 

👀 선형대수 연산 : np.dot() 

 

import pandas as pd

👀 DataFrame 

•   데이터 불러오기 

•   정보 확인하기 

euron 동아리 발표자료 일부

 

 

👀 정렬, aggregation 함수, Groupby 적용 

• DataFrame.sort_values( by = , ascending = True, inplace = True) 
• 연산함수 : min , max, sum, median, count (※ axis = 0 행, axis = 1 열 방향 적용) 
• DataFrame.groupby() : 반드시 aggregation 연산 함수를 호출해야 한다. 

👀 결손 데이터 처리 

• DataFrame.isna().sum() : 결손 데이터 개수 확인 
• DataFrame.fillna() : 결손 데이터를 다른 값으로 대체 가능. inplace=True 로 지정해야 실행 값이 반영

👀 apply lambda 

• DataFrame[열].apply(lambda x : 함수식) 
• 특정 칼럼에 대해 특정 함수를 각 셀의 값에 적용 
• if else 문 : list comprehension 사용 

 

 

02. 사이킷런으로 시작하는 머신러닝 

---

📌 2.2 데이터 분석 프로세스 

 

📌 2.3 사이킷런 기반 프레임워크 

1. 지도학습

• 분류 문제와 회귀 문제로 구성 → Estimator 클래스 
• fit() 과 predict() 내부 구현 
• Evaluation 함수, 하이퍼파라미터 튜닝 클래스의 경우 이를 인자로 받음 

2. 비지도학습 

• 차원축소, 클러스터링, 피처 추출 등의 클래스 
• fit() 과 transform() 내부 구현 (하나로 결합한 fit_transform() 제공) 

  ▷ fit() : 입력 데이터의 형태에 맞춰 데이터를 변환하기 위한 사전 구조 맞춤 

  ▷ transform() : 이후 입력 데이터의 차원 변환, 클러스터링 등 실제 작업 수행 

 

3. 사이킷런의 주요 모듈 

👀 피처처리 

• Sklearn.preprocessing : 데이터 전처리에 필요한 기능. 인코딩, 정규화, 스케일링
• Sklearn.feature_selection : 알고리즘에 큰 영향을 미치는 피처를 우선순위대로 셀렉션 작업 수행 
• Sklearn.feature_extraction : 텍스트 데이터나 이미지 데이터의 벡터화된 피처 추출. Countvectorizer, tf-idf vectorizer 등 

👀 차원축소 

• Sklearn.decomposition : 차원축소 관련된 알고리즘. PCA, NMF, Truncated SVD 

👀 데이터 분리, 검증 & 파라미터 튜닝  

• Sklearn.model_selection : 교차검증을 위한 학습/테스트 데이터 분리, 최적 파라미터 추출. train_test_split, GridSearchCV 등 

👀 평가

• Sklearn.metrics : 성능 측정 방법 제공. Accuracy, Precision, Recall, ROC-AUC, RMSE 등 

👀 ML 알고리즘 

 

📌 2.4 Model Selection 모듈 소개 

👀 학습/테스트 데이터 세트 분리 

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, t_test = train_test_split(data, label, test_size = 0.2, random_state=11)

• shuffle : 데이터를 분리하기 전 분산시켜 효율적인 학습/테스트 데이터 분리 
• random_state : 호출할 때마다 동일한 학습/데이터 세트를 생성하기 위해 주어지는 난수값 

👀 교차검증 

• 과적합 방지 
• 데이터 편중을 막기 위해 별도의 여러 세트로 구성된 학습/테스트 데이터 세트에서 학습과 평가 수행 

ⓞ 교차검증 과정 

1. 폴드 세트 설정
2. for 루프에서 반복적으로 학습/검증용 인덱스 추출
3. 학습과 예측 수행해 예측 성능 반환 

 

① K-fold cross validation 

from sklearn.model_selection import KFold
kfold = KFold(n_splits = 5)

• K 개의 데이터 폴드 세트를 만들어 K 번만큼 각 폴드 세트에 학습과 검증평가를 반복적으로 수행 
• n_splits  파라미터를 이용해 데이터 세트 지정 
• Kfold.split() : 폴드별 학습용, 검증용 데이터의 인덱스를 array 로 변환 

② Stratified K-fold 

from sklearn.model_selection import StratifiedKFold 
skfold = StratifiedKFold(n_splits = 3)

• 이산값 형태의 레이블(Y) 를 가진 데이터에 한해 적용 - 분류, 로지스틱 회귀 등 
• 불균형한 imbalanced 분포도를 가진 Y 데이터 집합을 위한 K 폴드 방식 
• 원본 데이터의 Y 분포를 먼저 고려한 뒤 이 분포와 동일하게 학습/검증 데이터 분배 

③ cross_val_score() 

from sklearn.model_selection import cross_val_score, cross_validate

• 교차 검증 과정을 한꺼번에 수행해주는 API
• 반환값 : 배열 형태의 지정된 성능지표 측정값
• 주요 파라미터

• 예시

from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

# dataset

iris = load_iris()

logreg = LogisticRegression() # 로지스틱 회귀 

scores = cross_val_score(logreg, iris.data, iris.target, cv=5) 
# model, train, target, cross validation

print('cross-val-score \n{}'.format(scores))
# [1.    0.9666667   0.933333   0.9   1.]

print('cross-val-score.mean \n{:.3f}'.format(scores.mean()))
# 0.960

 

④ cross_validate() 

• 교차 검증 과정을 한꺼번에 수행해주는 API
• cross_val_score 와 비슷하지만, 분할마다 훈련과 테스트에 걸린 시간을 담은 딕셔너리를 반환한다.
• 반환값 : dict 형태의 폴드별 test_score, fit_time 등 반환 
• 다중평가지표 : 여러개의 평가 지표를 사용할 수 있다는 것이 장점이다. 
• 주요 파라미터 

• 예시

from sklearn.model_selection import cross_validate
cross_validate(SVC(gamma='auto'), X_train, y_train, scoring=['accuracy', 'roc_auc'], return_train_score=True)

# {'fit_time': array([0.07761502, 0.07732582, 0.07719207]),
# 'score_time': array([0.06746364, 0.06803942, 0.06800795]),
# 'test_accuracy': array([0.90200445, 0.90200445, 0.90200445]),
# 'test_roc_auc': array([0.99657688, 0.99814815, 0.99943883]),
# 'train_accuracy': array([1., 1., 1.]),
# 'train_roc_auc': array([1., 1., 1.])}

 

👀 교차검증은 학습에 과연 영향을 미칠까? 

 

👉 답 : 학습에 참조하긴 한다. 하지만, 학습 가중치 업데이트에는 영향을 미치지 못한다

➕ https://huidea.tistory.com/30 ​

[Machine learning] 쉽게 설명하는 Cross Validation 교차검증

 

 

 

👀 GridSearchCV - 교차검증과 최적 하이퍼 파라미터 튜닝을 한번에 ⭐⭐⭐

• 교차검증을 기반으로 하이퍼 파라미터의 최적값을 찾는 API
• 주요 파라미터

• 학습 과정 

• 예시 

• Attributes : fit 이후에 확인해볼 수 있는 출력물 

 

📌 2.5 데이터 전처리 

👀 Null 값 처리 

• 피처들 중 Null 값이 적은 경우 : 해당 피처의 평균값 등으로 대체. 이때 피처 중요도에 따라 대체값 선정에 유의!
• 피처들 중 Null 값이 많은 경우 : 해당 피처를 drop 하는 것이 일반적 
• Null 값의 많고 적음의 절대적인 기준은 없다. 해당 피처에서의 Null 값 비율로 따지는 것이 일반적이다. 

👀 데이터 인코딩  

• 알고리즘에 학습시키기 위해 카테고리형 피처나 텍스트형 피처를 '숫자' 형태로 변환해주는 작업 

① LabelEncoder 

from sklearn.preprocessing import LabelEncoder

• 문자열 값을 숫자형 카테고리 값으로 변환 
• 일괄적인 숫자값으로 변환되면서 특정 ML 알고리즘에서는 예측성능 저하 문제 발생 
• 트리계열의 ML 알고리즘에서 사용 추천 

 

② One-hot Encoding 

from sklearn.preprocessing import OneHotEncoder

• 행 형태의 피처 고유 값을 열 형태로 차원 변환 
• 고유 값에 해당하는 칼럼에만 1, 나머지는 0 표시 
• 변환 전 입력값으로 2차원 데이터가 필요함! 

 

③ pd.get_dummies() 

• 판다스에서 제공하는 원핫인코딩 API → 원핫인코딩인 이 방법을 더 많이 사용함 
• 데이터프레임을 인수로 받아야 함 

 

👀 피처 스케일링 

• 서로다른 변수의 값의 범위를 일정한 수준으로 맞추는 작업 
• 대표적으로 표준화와 정규화가 있다. 

① 표준화 

• 각 피처 값을 가우시안 정규분포 (평균=0, 분산=1) 을 가진 값으로 변환 
• StandardScaler 이용 
• 특히 SVM, 선형회귀, 로지스틱 회귀 적용하기 전에 꼭 수행해야함!

② 정규화 

• 서로 다른 피처의 크기를 0과 1 사이의 값으로 통일 (음수가 있을 경우 -1과 1 사이) 
• MinMaxScaler 이용 
• 데이터분포가 가우시안 분포가 아닐 경우 적용