1️⃣ AI•DS176 [인공지능] 추천시스템 1️⃣ 추천시스템 ① 추천 시스템 🔘 정의 information filtering technique : 어떠한 사람이 관심있을 것 같은 것들을 제공하도록 정보를 filtering 하는 기법 🔘 활용 ⭐ 이커머스, 광고, (유튜브 영상) 추천 비슷한 취향 similar taste 을 가진 사람들이 봤던 것을/구매했던 것을 광고/추천목록으로 보게됨 ⭐ 추천시스템에 딥러닝 네트워크를 활발하게 사용하고 있다 🔘 구조 Candidate generation : 유저의 취향을 고려하여 거대한 corpus (유저, 방대한 비디오 클립 등) 로부터 추천 후보군을 산출한다. Scoring : 후보군 중에서 유저가 실제로 볼법한 추천 게시물을 다시 선택하기 위해 정확한 선택 요소들을 점수화한다. Re-ranking : 싫어.. 2022. 6. 13. [인공지능] GAN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 1️⃣ Generative model 👀 CNN, RNN 이미 있는 데이터 분포를 잘 추출하는 네트워크 P(Y|X) 👉 데이터 각각을 잘 구분하는 확률 분포를 추출 discriminative model 👀 생산적 적대 신경망 GAN data instance 를 새로 생성하는 네트워크 데이터를 만드는 작업 다양한 응용분야에 적용될 수 있음 ① So far we've learn 🔘 Discriminative model 지금까지 DNN, CNN, RNN 등 주어진 데이터 분포를 잘 구분하기 위해 설계한 모델들을 배웠음 ② Generative model VS Discriminative model 🔘 Discriminative model 다른 종류.. 2022. 6. 13. [인공지능] Transformer Models 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. ➕ https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ Transformers pratical tips for Natural Language Processing ratsgo.github.io Summary ✨ Transformer 기계 번역(machine translation) 등 시퀀스-투-시퀀스(sequence-to-sequence) 과제를 수행하기 위한 모델 ◾ Attention is all you need : Encoder + Decoder block ◾ encoder 부분에서 병렬적으로 문장의 모든 단어를 동시에 처리한다. ◾ 속도가 빠르고 모든 맥락을 전부 at.. 2022. 6. 11. [인공지능] NLP 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. Recap ✨ RNN, LSTM ◾ RNN → gradient vanishing problem → LSTM 1️⃣ NLP ① Natural language processing ◼ NLP : 컴퓨터로 인간의 언어를 사용하는 것 ◼ Natural language ◼ example 💨 machine translation 💨 Sentiment classification 💨 Spam filtering 💨 Chat-bot 👉 많은 NLP 응용은 language model 을 기반으로 하고 있다. ② Language model (1) language model ◼ 연속된 단어에 대한 확률분포를 할당하여 언어 모델을 생성한다. ◼ 일련의 단어 배열이 있.. 2022. 6. 10. [인공지능] RNN 📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. Intro ✨ sequential data, temporal data 와 같이 데이터가 시간상에 순서가 있는 경우 RNN 은 좋은 성능을 발휘한다. ◾ language : 시간 상에서 단어들이 배열된다 (speech, text) ◾ video : 이미지가 시간 상에서 sequential 하게 존재한다. ✨ spatial data → 이미지 data 를 처리하는데 CNN 모델이 좋은 성능을 발휘한다. 2D, 3D conv 자체가 주변의 공간상에 있는 픽셀들의 정보를 가져오는 것이기 때문이다. ✨ 단일한 RNN, LSTM 모델모단 Attention 을 사용한 RNN, LSTM 모델이 사용되고 있다. 1️⃣ RNN ① Neural Network.. 2022. 6. 7. NER 실습 📌 필사 자료 링크 : https://colab.research.google.com/drive/1wsD4VE-GIwn6CASc7RWk3s0PO7FC9LC4?usp=sharing week4_NER_실습.ipynb Colaboratory notebook colab.research.google.com NER _ 개체명 인식 ✔ 태깅 작업 태깅 : 각 단어가 어떤 유형에 속하는지 알아내는 작업 대표적인 태깅 작업으로 개체명 인식과 품사태깅이 있다. 품사태깅 : 단어의 품사가 명사, 동사, 형용사 인지 알아내는 작업 ✔ 개체명 인식 개체명 인식을 사용하면 코퍼스로부터 어떤 단어가 사람, 장소, 조직 등을 의미하는 단어인지를 찾을 수 있다. '호비는 2022년에 카카오 인턴에 합격했다' 👉 호비 - 사람 , 202.. 2022. 6. 2. Glove 실습 📌 필사 자료 링크 : https://colab.research.google.com/drive/148V1ytOU36pT4oX1fbcWUaC3B6F4O62s?usp=sharing week3_Glove 실습.ipynb Colaboratory notebook colab.research.google.com Glove 💡 논문 : https://nlp.stanford.edu/pubs/glove.pdf 1️⃣ glove python https://wikidocs.net/22885 05) 글로브(GloVe) 글로브(Global Vectors for Word Representation, GloVe)는 카운트 기반과 예측 기반을 모두 사용하는 방법론으로 2014년에 미국 스탠포드대 ... wikidocs.net ✔ 개념.. 2022. 5. 31. [cs224n] 12강 내용정리 💡 주제 : Subword Models 📌 핵심 Task : Character level models BPE, WordPiece model, SentencePiece model, hybrid models 1️⃣ Linguistic Knowledge 1. 언어학 개념 정리 ✔ 음운론 Phonology ◽ 언어의 '소리' 체계를 연구하는 분야 → 사람의 입으로 무한의 소리를 낼 수 있지만, 언어로 표현될 때는 연속적인 소리가 범주형으로 나눠져서 인식된다. ✔ 형태론 Morphology ◽ 최소한의 의미를 가지는 구조 ◽ 단어의 어형 변화를 연구하는 문법의 한 분야 → 작은 단위의 단어들이 모여 하나의 의미를 완성 👉 형태소 단위의 단어들을 딥러닝에 사용하는 경우는 거의 없다. 단어를 형태소 단위로 쪼개는 과.. 2022. 5. 23. [cs224n] 11강 내용 정리 💡 주제 : ConvNets for NLP 📌 핵심 Task : sentence classification CNN, 2014 논문, 2017 논문 1️⃣ CNN 1. RNN 의 문제 ✔ Prefix context 를 모두 포함 ◽ the, of .. 와 같은 prefix context 없이 phrase 를 잡아내지 못한다. ◽ 이전 토큰들에 대해 연산을 모두 진행한 후 다음 토큰에 대해 연산을 진행한다. ✔ Last hidden state 에 의미가 축약됨 ◽ softmax 가 마지막 step 에서만 계산되므로 마지막 단어에 영향을 많이 받는다 👉 단점을 보완하기 위해 LSTM, GRU, Attention 같은 모델들이 등장 2. CNN for text ✔ main Idea What if we compu.. 2022. 5. 19. 텍스트 분석 ② 📌 파이썬 머신러닝 완벽가이드 공부 내용 정리 📌 실습 코드 https://colab.research.google.com/drive/1aMlFfX927tDFnPUisw2M3tB6NwGy5c7q?usp=sharing 08. 텍스트 분석(2).ipynb Colaboratory notebook colab.research.google.com 1️⃣ 문서 군집화 💡 문서 군집화 ✔ 개념 비슷한 텍스트 구성의 문서를 군집화 하는 것 텍스트 분류 기반의 문서 분류는 사전에 target category 값이 필요하지만, 이 없이도 비지도 학습 기반으로 동작 가능하다. 1. 텍스트 토큰화 & 벡터화 2. 군집화 알고리즘 적용 : Kmeans 3. cluster_centers_ 로 군집별 핵심 단어 추출하기 ✔ 실습 - .. 2022. 5. 17. 이전 1 ··· 12 13 14 15 16 17 18 다음 728x90
