[인공지능] Introduction to AI/Deep learning

📌 교내 '인공지능' 수업을 통해 공부한 내용을 정리한 것입니다. 

 

 

1️⃣ Introduction to AI 

---

 

① AI Definition

 

👀 Rationality 

 

• 목표를 최대한으로 당설할 수 있도록 합리적인 행동 (act rationally) 을 하는 것 = AI 
• 연산을 통해 합리적인 행동을 한다는 측면에서 AI 는 컴퓨터 과학의 뿌리다. 

 

👀 약인공지능 vs 강인공지능 

 

• Narrow AI : 체스두기, 엘레베이터 조절하기 등과 같은 특정한 (specific) 문제를 해결하는 인공지능 
• Strong AI : 인간의 인지 능력에 대한 범위까지 능가하는 인공지능 (act & thinking) 

 

 

② History of AI 

 

👀 역사 

 

• 50/60년대 : Neural network 의 등장 (인공뉴런의 개념) 💨 모호성/복잡성/표현의 한계로 암흑기에 접어듦
• 70/80년대 : expert system 의 등장 
• 1998년 : CNN의 탄생 
• 2012년 : 이미지 분류 문제에 CNN의 활용 _ AlexNet 의 등장 

 

👀 현재 AI는

 

• 여러 하위분야로 나뉘어지고, 다양한 분야에서 응용이 등장함 
• AI 가 어려운 이유는, 주변 환경으로부터 얻어지는 정보의 불확실성 때문이다. 특정 상황에 대한 지식 습득은 쉬울 수 있으나, 일반적인 상황에 대해서 유연하게 동작하는 AI의 개발은 어렵다. 

 

 

③ Subareas of AI 

 

Perception : vision, speech recognition

ML, DL

Robotics

NLP

Reasoning and decision making : Knowledge representation, Reasoning (logical, probabilistic) , Decision making (search, planning, decision theory)

 

👀 Representation

• 데이터를 어떻게 표현하고 문제를 어떻게 정의하는가 

 

👀 Thinking 

• 주어진 정보를 활용하여 목적을 최대한 달성할 수 있는 행동을 하는 것 

 

👀 Reasoning

• logical : 합리적인(논리적인) 추론 
• Probabilistic : 각 관측치에 대해 적절한 가중치를 부여하여 추론 

 

👀 Decision making 

 

• Search : 정확히 서술된 문제를 해결하는데 사용되는 알고리즘으로 state 를 single entity 로 표현한다.
  • Find optimal sequence of states
  • ex. 자동 진공 청소기 

 

• Planning : 처음상태에서 목표상태까지의 일련의 행동을 하는 알고리즘으로 state 를 구조화된 표현식 structured representations 으로 서술한다.
  • sequence of actions : 초기상태에서 최종 상태까지 
  • Planning can be solved by a search algorithm  
  • ex. 알파고 : 몬테카를로 tree search 기법을 사용 with deep learning 

 

👀 Decision Theory

• 결정이론은 stochastic (다음 state 가 정의되어있지 않은 경우) 와 partially observable 한 환경에 사용된다. 

 

👀 Learning

• 주변 상황에 대해 학습하여 적응 

 

👀 Output 

• maximize the goal 

 

 

---

 

 

2️⃣ AI 를 학습하는데 필요한 수학 배경지식 

---

 

 

① Linear Algebra ⭐

 

Vector - Vector Product

Matrix - Vector Product

Matrix - Matrix Product

Transpose

Norm

Gradient

 

 

👀 Norm : 벡터의 길이를 표현하는 지표 ||x|| 로 l1, l2 norm 이 대표적인 표현방식이다. 

 

 

 

 

 

👀 Gradient : input 으로 행렬 A 를 넣으면 output 으로 실수값을 반환하는 함수로, 미분의 행렬버전이라고 이해하면 쉽다. 행렬 A에 대해 편미분을 수행한 결과이다. 

 

 

 

 

 

 

 

 

 

② Probabilistic Theory 

 

조건부확률

Random Variable

Expectation

Variance

Covariance

 

 

* 일반적으로 '평균'과 '기댓값'은 같은 값을 가집니다. 그러나, '평균'은 "조사된 값들에 대해서 평균이 얼마인가"처럼, 확률적인 개념이 없을 때 쓰이고, '기댓값'은 각 사건들이 일어날 확률들을 가지고 있는 경우, 그 기대되는 값을 표현할 때 쓰입니다.

 

---

 

 

3️⃣ Introduction to Deep Learining

---

 

 

 

① 'Learning' 의 의미 

 

 

👀 파블로프의 개 실험 

 

• 개를 종소리만 듣고도 침을 분비하게 학습
• 종소리 + 먹이 학습으로, 벨소리 인식 뉴런만 활성화 되더라도 침 분비 뉴런 또한 활성화된다. 

 

👀 신경망을 학습한다는 것 

 

• 시냅스 : 뉴런들끼리의 연결 
• 시냅스의 강도를 조절하여 원하는 출력을 얻게 만든다는 것 
• Deep (층이 많음) + Learning (시냅스 강도를 조절하며 학습)

 

심층 신경망의 시냅스 강도를 조절해 얼굴인식 기능을 수행하도록 학습

 

 

 

② Learning method 

 

1) Supervised learning (prediction) 👉 딥러닝의 주요 학습 방식 

• input-output pairs : labels 

 

Output 과 Ground Truth 로 도출한 error 를 바탕으로 학습을 feedback 개선

 

 

2) Unsupervised learning (understanding) 

• learn patterns from unlabeled data 

 

3) Reinforcement learning 

• 일련의 행동을 통해 보상을 최대로 하는 방향으로 학습 

 

 

③ AI Approaches 

 

👀 Rule based system 

 

인간이 직접 알고리즘을 디자인하는 전통적인 방식 

 

어쩃든 rule based system 도 AI 범주에 속함

 

 

👀 Classical machine learning

 

인간이 설계한 알고리즘으로 입력에서 feature (특징)을 추출하고, 특징의 분포를 기계가 학습하여 결과를 판단한다.

 

 

 

Feature  예시 

 

• Computer vision : Edges 모서리 , vertices 꼭짓점, objects 사물 , texture 질감 등 
• Character recognition : # of white pixels, # of holes 0의 개수, strokes 획의 개수 등 
• Speech recognition : Length of sounds 음성의 길이, similarities in patterns 

 

 

 

👀 Deep learning

 

특징 추출부터 분포의 파악까지 모두 기계가 학습한다. 

• end to end 학습 

 

 

 

• Deep : 레이어가 많은 것 
• 단순한 low level feature 추출부터 추상화 단계가 높은 high-level feature 들을 추출해낸다. 추상화된 특징들로 무언가를 파악하기가 더 쉽다. 

 

데이터의 양과 정확도 사이의 관계 

 

 

• NN 학습 : 데이터가 많을수록, 층의 개수가 많을수록 정확도가 증가한다. 
• 기계학습 : 일정 이상의 데이터 양에 대해서는 학습에서의 성능향상이 별로 없다. 
• Rule-based : 데이터의 양과 상관없다. 

 

 

딥러닝 모델 종류 

 

• 시냅스가 어떻게 연결되어 있느냐에 따라 구분