HMM 기본 코드/응용사례 정리

 

 

 

 

 

①  개념 보충

---

 

◯  Markov chain 

 

•  HMM 은 마르코프 체인을 확장한 모델이다. 

•  마르코프 연쇄는 마르코프 성질을 가진 이산확률과정 (discrete-time stochastic process) 을 의미한다. 시간에 따른 시스템 상태의 변화를 타나내며 이를 전이 Transition 이라고 부른다. 

•  마르코프 성질 : 미래의 상태는 오직 현재의 상태 혹은 더 이전의 일정기간에만 영향을 받는다. 미래의 어떤 상태를 예측하기 위해 과거의 긴 이력을 필요로 하지 않는 성질을 의미한다. 즉, 과거와 현재 상태가 주어졌을 때의 미래 상태 조건부 확률 분포는 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다. 

•  이산확률과정 : 시간이 연속적으로 변하지 않고, 이산적으로 변하며 (현재 상태에서 그냥 다음 상태로 가는) 이에 따라 특정 상태가 발생할 확률이 변화하는 과정 

 

 

◯  HMM

 

•  순차 데이터 (데이터 집합 내의 객체들이 어떤 순서를 가진 데이터) 에 적용할 수 있는 모델이다. 

•  HMM 은 Observable state 와 Hidden state 로 구성되며 우리가 알고 싶은 state 수는 미리 결정되어야 한다. state 의 종류도 사용자가 정의해야 한다. 

•  π 는 초기 상태 확률 행렬로 HMM 이 어느 상태에서 시작할지 확률을 결정하며 epoch 가 진행될수록 최적화된다. 

•  HMM 은 비지도학습 방법의 하나라고 볼 수 있다. sequence 가 존재하는 데이터를 클러스터링 하기에 유용하고, 추정된 파라미터를 통해 해석적으로 접근할 수 있는 장점이 있다. 

 

 

 

 

◯  MCMC - HMM

 

•   Monte Carlo [시뮬레이션과 비슷한 개념] : 확률적인 문제를 확률 분포로부터 무작위로 추출된 표본을 사용하여 근사화하는 기법

•   MCMC [샘플링 방법 중 하나] : 몬테 카를로 방법을 마코프 체인에 적용한 것으로 MCMC 는 마코프 체인을 따라 확률분포로부터 표본을 생성하며 이 표본을 사용해 원하는 확률분포를 근사한다. 가장 마지막에 뽑힌 샘플이 다음번 샘플을 추천해준다는 개념으로 마코프 체인이 적용되었다고 생각하면 된다. MCMC 는 샘플링 뿐만 아니라 파라미터 추정에도 사용될 수 있다. 

 

•   HMM (Hidden Markov Model)에서 MCMC (Markov Chain Monte Carlo)는 모델의 파라미터나 숨겨진 상태에 대한 확률 분포를 추정하기 위한 통계적 추론 방법 중 하나이다. 보통 Gibbs 샘플링이나 Metropolis-Hastings 알고리즘과 같은 MCMC 방법을 사용하여 모델의 파라미터나 숨겨진 상태를 추정하는 데 활용된다. 

 

•  마르코프 체인 몬테카를로(MCMC) 알고리즘은 숨겨진 마르코프 모델(HMM)에서 유용한 베이지안 추론 도구이며, HMM 매개변수 집합을 빠르게 추출하는 데 사용할 수 있다. MCMC 수렴은 데이터 불확실성의 양에 따라 크게 달라진다. 

 

 

 

 

 

 

② 코드

---

 

 

◯  python library : hmmlearn 

 

from hmmlearn.hmm import GaussianHMM,GMMHMM
import pandas as pd
import numpy as np

 

 

•  hmmlearn.hmm 에는 GaussianHMM, GMMHMM, Multinomial HMM 을 제공한다. 

   ∘  Multinomial HMM : input 이 discrete 한 경우 

   ∘  GaussianHMM : input 이 continuous 한 경우 

   ∘  GMMHMM : 여러개의 가우시안 모델로 확장된 모델 

 

 

•   코드 

 

 

 

◯  응용사례

 

※ 참고 - 하나로 이어진 sequence 가 아니라 한 사람마다 sequence 를 가지고 있는 multi sequence 예제

※ 참고 - hmm 알고리즘 구현 코드

※ 참고 - hmmlearn 으로 과거 금 가격 모델링-(낮은/중간/높은 변동성 상태 추론)

※ 참고 - 강아지 훈련 통과 모델링 - (강아지 상태 sad/happy)