본문 바로가기

분류 전체보기328

[cs224n] 13강 내용정리 💡 주제 : Contextual Word Representations and Pretraining 📌 핵심 Task : Word representation (Word embedding) , pre-training ELMO, Transforemr, BERT 1️⃣ Reflections on word representations 1. Word representation ✔ word embedding ◽ 워드 임베딩을 통해 단어를 벡터로 표현하여 컴퓨터가 이해할 수 있도록 자연어를 변환해준다. ◽ Word2Vec, GloVe, fastText 등을 학습 2. Pre-trained word vectors 사전 훈련된 단어 벡터 모델이 학습한 Vocabulary 에서 각 단어마다 매칭되는 word vector 가.. 2022. 7. 4.
[인공지능] 딥러닝 모델 경량화 📌 경량화 : 딥러닝 모델 사이즈를 줄이기 모델 경량화는 하드웨어와 연관이 많이 되어있음 딥러닝 모델의 크기는 계속 커지고 있기 때문에 하드웨어에서 잘 동작시키기 위해서 관련 연구가 필요함 📌 Ever Increasing Model Size 모델 크기가 커지는 이유는 정확도 때문 → 모델의 크기가 커질 수록 representation power 가 증가 📌 Downside 모델 크기를 늘려 정확도를 증가시키는 것은 2가지 단점을 불러일으킨다. 연산량 증가 메모리 점유율 증가 : 메모리에 모델 파라미터를 올려서 구동 (저장) → 메모리가 작은 휴대폰, 임데디드 시스템에서는 거대한 AI 를 동작시키기 어려움 메모리 bandwidth 증가 : 메모리로부터 CPU 또는 GPU 로 데이터를 전송해야 하는데, 이때.. 2022. 6. 21.
앱 리뷰 분석에 관한 논문 정리 ③ 👀 논문 읽기를 통해 해결하고 싶은 부분 1. 표본이 작은 데이터에도 토픽모델링과 감성분석을 적용해도 괜찮을까 2. 어플 리뷰 텍스트 데이터는 어떠한 방법론으로 접근하여 어떠한 인사이트를 얻어낼까 3. 앱스토어 리뷰 + 구글 플레이 스토어 리뷰 분석 로직 설계하기 1️⃣ 모바일 앱 서비스 업데이트가 사용자 만족도 및 유지율에 미치는 영향 (2021) ✨ 연구 목적 ◾ 고객 만족도 향상과 유저이탈 방지를 위한 애플리케이션 개선 방향 제시 ✨ 핵심 정리 ◾ 모바일 앱 리뷰 데이터 수집 + 텍스트 마이닝 기법 → 이용자 만족도에 영향을 주는 핵심 키워드 도출 ◾ 업데이트 기간 별 유저 수 분석을 통해 업데이트가 유저 이탈에 미치는 영향 분석 ① 서론 ✔ 연구의 필요성 : 온라인 리뷰의 대부분은 제품 및 서비스.. 2022. 6. 16.
앱 리뷰 분석에 관한 논문 정리 ② 👀 논문 읽기를 통해 해결하고 싶은 부분 1. 표본이 작은 데이터에도 토픽모델링과 감성분석을 적용해도 괜찮을까 2. 어플 리뷰 텍스트 데이터는 어떠한 방법론으로 접근하여 어떠한 인사이트를 얻어낼까 3. 앱스토어 리뷰 + 구글 플레이 스토어 리뷰 분석 로직 설계하기 1️⃣ 지역화폐 앱 사용자 리뷰 분석을 통한 마케팅 전략 수립 - '동백전'과 '인천 e음'을 중심으로 (2020.11) ✨ 연구 목적 ◾ 지역화폐 앱 사용자 리뷰를 분석하여 지역화폐 사용자의 긍정/부정 요인을 파악하고 이를 바탕으로 마케팅 전략을 수립한다. 지역화폐 담당 공무원들과 마케터들에게 지역화폐에 대한 유의미한 정보를 제공해 줄 수 있다. ✨ 핵심 정리 ◾ 앱 사용자 리뷰를 '별점'을 기준으로 긍정과 부정으로 분류하고 각각 워드클라우드.. 2022. 6. 15.
[인공지능] Federated Learning , Distributed Learning Summary ✨ Federated learning ◾ Exploits huge amount of data across clients ◾ data is non-IID ◾ Brief indroduction of FedAvg ✨ Distributed learning ◾ Make training Faster ◾ Data evenly distributed ◾ data parallel : Forward pass, Backward pass , Weight update 👉 Communication : Allreduce - ring reduction, One-host reduction ◾ Model parallel 👉 inter-layer parallel (pipeline) : sub-minibatches, inter.. 2022. 6. 15.
[인공지능] Meta learning , Transfer learning Summary ✨ Meta learning ◾ Few-shot learning ✨ Transfer learning : knowledge 를 전달 ◾ Fine-Tuning → dataset 이 부족한 경우 ◾ Knowledge distillation → 모델 경량화를 하고자 하는 경우 ◾ Domain adaptation → 같은 도메인에 있지만, 학생 도메인의 데이터셋이 부족한/레이블이 없는 경우 ◾ Inductive/unsupervised → 다른 task 를 수행하기 위해 1️⃣ Meta learning ① Meta learning 기계가 아는지 모르는지 구분이 가능하다. 🔘 learning to learn ◾ 메타학습은 여러가지 task 에 대해서 일반화될 수 있는 모델을 학습하는 것을 목표로 한다 .. 2022. 6. 14.
[인공지능] Reinforcement Learning Summary ✨ Reinforcement Learning ◾ Any algorithms that solves MDP ◾ Learning to choose optimal action A → ㅠ* ◾ By learning evaluation functions like V(S), Q(S,A) ✨ Key ✔ next state function 을 알고있다면 ◾ use dynamic programming to learn ܸV(S) ◾ once learned, choose action At that maximizes V(S_t+1) ✔ 미로 찾기처럼 next state function 을 모른다면 ◾ Learn Q(St, At) = E[ V(S_t+1) ] ◾ 학습하기 위해 St x At → S_t+1 을 시도 .. 2022. 6. 14.
[인공지능] GNN Summary ✨ Idea for deep learning for graphs ◾ Multiple layers of embedding transformation ◾ At every layer, use the embedding at previous layer as the input ◾ ⭐⭐ Aggregation of neighbors ✨ Graph convolutional network ◾ Mean aggregaton → permutation invariant/equivariant ✨ Applications of GNNs ◾ Node-Level ◾ Edge-Level ◾ Graph-Level ⭐ GNN is general architecture ◾ CNN and Transformer can be viewe.. 2022. 6. 14.
웹 프로그래밍[10] - Flask, bootstrap 👀 교내 '디지털 콘텐츠 웹 프로그래밍' 수업 내용과 'Do it 인터랙티브 웹 페이지 만들기' 유튜브 강의를 통해 공부한 내용을 정리하였습니다. 01. Flask 🔹 웹서버의 기본적인 작동 방식 🔹 HTTP 프로토콜 의사소통을 위한 규약 통신할 때 주고받는 규약 서버와 클라이언트 간에 주고받는 http 메시지 : Request, Responses 🔹 CGI 표준 입출력 장치를 통한 정보입력과 웹페이지 출력 구조로 서버 프로그램과 외부 프로그램을 연동하는 방식 매우 간단한 구조의 인터페이스 🔹 MVC 사용자 결과물 생성 뷰, 전체 모델을 콘트롤하는 콘트롤러, 전체 웹 서비스 모델을 담당하는 모델로 구성하는 소프트웨어 디자인 패턴 사용자와 웹서버가 1:1로 물려져 있음. 사용자가 웹페이지를 보기 위해선 서.. 2022. 6. 13.
웹 프로그래밍[9] - 웹기획 👀 교내 '디지털 콘텐츠 웹 프로그래밍' 수업 내용과 'Do it 인터랙티브 웹 페이지 만들기' 유튜브 강의를 통해 공부한 내용을 정리하였습니다. 01. 웹 기획의 이해 🔹 기획의 개념 🔹 웹기획 : 웹에서 일어나는 일을 기획하는 것 비즈니스를 하는데 있어서 웹을 도구로 사용하여 기획한다. 🔹 UX 기획 : 사용자의 정황과 요구사항을 읽고 그것을 제품이나 서비스로 만들어내는 방법론 사용자에게 유용한 가치를 제공하기 위해 고민하는 가치중심적 사고를 기반으로 제품이나 서비스를 디자인 및 설계하는 것이다. 데스크톱 기반의 웹사이트를 제작할 때에도 적용할 수 있지만, 모바일 웹 기획 시 더욱 필요로 하는 디자인· 설계 방법론이다 🔹 성공적인 웹 기획을 위한 요건 명확한 목표 참신하고 신선한 아이디어와 콘텐츠 가.. 2022. 6. 13.
728x90

티스토리툴바