1️⃣ AI•DS157 [책 스터디] 3. 허깅페이스 트랜스포머 라이브러리 👀 LLM을 활용한 실전 AI 애플리케이션 개발 책 스터디 정리 자료 (저작권 문제시 잠금하겠습니다~!) ▶️ 실습코드 (깃헙 공개코드 활용)▶️ 깃헙코드 1. 허깅페이스 트랜스포머란 ◯ Transformer 라이브러리 • 공통된 인터페이스로 트랜스포머 모델을 활용할 수 있도록 지원하여 딥러닝 분야의 핵심 라이브러리 중 하나 (오픈소스 라이브러리) • 모델과 토크나이저 → transformer 라이브러리 : AutoTokenizer, AutoModel• 데이터셋 → datasets 라이브러리 from transformers import AutoTokenizer, AutoModeltext = "What is Huggingface Transformers?"# BERT 모델 .. 2024. 12. 16. Hidden Markov Models in Marketing 노션 정리 대학원 산학 프로젝트 했을 때 공부한 자료! 노션 페이지 링크 Hidden Markov Models in Marketing | Notion내용구성 1. Capturing dynamics 2. Building HMM 2-1. Introduction 2-2. The Basic components of a HMM 2-3. The HMM Likelihood function 2-4. HMM state recovery and Prediction 2-5. Accounting for Cross-customer Heterogeneity 2-6. Non-Homogeneous HMMs : Timisdawell00.notion.site 2024. 12. 14. [책 스터디] 2. 트랜스포머 아키텍처 살펴보기 보호되어 있는 글 입니다. 2024. 12. 11. [책 스터디] 13.LLM 운영하기 보호되어 있는 글 입니다. 2024. 12. 3. [책 스터디] 1. LLM 기초 : sLLM, RAG 보호되어 있는 글 입니다. 2024. 12. 1. 인과추론의 데이터 과학_2023 - week2. RCT 📔 강의자료 필기본 ① Potential Outcome Framework ▢ Potential Outcome Framework • counterfactual : 해당 treatment 가 없었다면 어떠했을까 • Causal effect = (Actual outcome for treated if treated) – (Potential outcome for treated if not treated) ▢ Fundamental Problem of Causal Inference : Selection Bias • 현실에서는 잠재적 결과를 관측할 수 없다. 하나의 대상에 대해서는 오직 하나의 상태만 관찰할 수 있다 • 현실에선 Control group (treatment 를 받지 않은 그룹) 만 관찰 가능하다. • .. 2024. 1. 9. HMM 기본 코드/응용사례 정리 ① 개념 보충 ◯ Markov chain • HMM 은 마르코프 체인을 확장한 모델이다. • 마르코프 연쇄는 마르코프 성질을 가진 이산확률과정 (discrete-time stochastic process) 을 의미한다. 시간에 따른 시스템 상태의 변화를 타나내며 이를 전이 Transition 이라고 부른다. • 마르코프 성질 : 미래의 상태는 오직 현재의 상태 혹은 더 이전의 일정기간에만 영향을 받는다. 미래의 어떤 상태를 예측하기 위해 과거의 긴 이력을 필요로 하지 않는 성질을 의미한다. 즉, 과거와 현재 상태가 주어졌을 때의 미래 상태 조건부 확률 분포는 과거 상태와는 독립적으로 현재 상태에 의해서만 결정된다. • 이산확률과정 : 시간이 연속적으로 변하지 않고, 이산적으로 변하며 (현재 상태에서 그냥.. 2024. 1. 5. 인과추론의 데이터 과학_2023 - week1. 빅데이터, AI 시대에서의 인과추론 📔 강의자료 필기본 ① Credibility Revolution ▢ Causal inference • observational data 로부터 특정한 현상의 인과관계를 밝혀내는 것 • Econometrics : 데이터 분석을 통해 경제 현상을 분석하고 이론을 테스트 하는 분야 • 인과추론은 모형을 어떻게 정의하느냐 보다, 잘 설계된 Research design 이 더 중요하다. • Experimental approaches Example ∘ RCT ∘ Quasi-experiments - DiD, Instrumental variables, Fixed effects, RD, Matching, Synthetic control) ② Challenges in Causal inference ▢ Correlation.. 2024. 1. 5. HMM 기초 개념 정리 - ② Decoding, Learning ※ 참고링크 ① HMM - Part2 (Decoding) ◯ Decoding Problem → HMM 의 핵심 ▢ Decoding 문제 정의 • Problem : HMM(λ*) 과 O 가 주어졌을 때, 최적의 S 를 찾는 것 (가장 그럴싸한 은닉상태의 시퀀스 결정) • Solution : Viterbi algorithm • ex. 정 박사가 오늘 산책, 내일 산책, 모레 연구, 글피 쇼핑했다면, 각 날들 날씨는 ? ▢ Viterbi algorithm • vt(i) : t 번째 시점의 i 은닉상태의 확률 [t=1 에서의 계산] • v1(1) = (S1이 t=1에서 발생할 확률) • (S1 은닉상태에서 산책이 관찰될 확률) = π1•b1(산책) • v1(2) = (S2가 t=1에서 발생할 확률) • (S2 .. 2024. 1. 4. HMM 기초 개념 정리 - ① 개념, Evaluation ※ 참고링크 ① HMM - Part1 (개념) ◯ 순차 데이터 • 시간에 따라 얻어지는 데이터 • 시간성 특성이 있음 • 예시 ↪ 하나의 제품이 완성품이 될 때까지는 10개의 공정을 거치고, 각 공정별로 여러 설비 종류를 가지고 있음 ↪ 공정을 거치는 것을 시간의 흐름으로 볼 수 있음 • 순차 데이터 인식 예시 ◯ Hidden Markove Model (HMM) • 순차 데이터를 확률적 (Stochasic) 으로 모델링 하는 생성 모델 (Generative model) ◯ Markove Model 이란 • state 로 이루어진 sequence 를 상태 전이 확률 행렬로 표현하는 것 • 상태 전이 확률 행렬 : 상태가 변화하는 것을 확률로 표현 ↪ 상태 전이 확률을 sum 으로 나눠주기 ↪ ex. 비에서.. 2024. 1. 3. 이전 1 2 3 4 ··· 16 다음 728x90
