AI 개요

AI의 핵심 이론들은 **“지능을 모방하거나 구현”**하기 위한 수학적·알고리즘적 원리들로 구성됩니다. 아래에 핵심 이론들을 분야별로 정리해드립니다:


---

1. 학습 이론 (Learning Theory)

> 기계가 어떻게 일반화할 수 있는가?



통계학습이론 (Statistical Learning Theory)
→ 데이터로부터 일반화 가능한 함수를 찾는 이론
→ VC 차원, 편향-분산 트레이드오프, PAC 학습

Empirical Risk Minimization (ERM)
→ 학습은 손실함수의 경험적 평균 최소화 과정

Regularization
→ 과적합 방지: L1/L2, Dropout, Weight Decay 등



---

2. 최적화 이론 (Optimization Theory)

> AI는 결국 “좋은 파라미터를 찾는 문제”



경사하강법 (Gradient Descent)
→ 손실함수의 기울기를 따라 최소점으로 이동

확률적 경사하강법 (SGD)
→ 샘플 단위로 근사적 최적화

Convex Optimization, Non-convex Optimization
→ 깊은 신경망 학습에서 중요한 구조 차이



---

3. 확률/통계 이론 (Probabilistic Inference)

> AI는 불확실성을 추론해야 한다



Bayes 정리
→ 사전 확률 + 데이터 → 사후 확률

Maximum Likelihood Estimation (MLE)
→ 가장 그럴듯한 모델 파라미터 추정

Expectation-Maximization (EM)
→ 잠재 변수(latent variable)를 가진 모델 학습

Markov Decision Process (MDP)
→ 강화학습의 수학적 기반



---

4. 정보 이론 (Information Theory)

> 지능은 정보를 요약, 비교, 전송하는 과정



Entropy (정보의 불확실성)

KL Divergence
→ 두 분포 간의 거리

Cross Entropy Loss
→ 분류 문제에서 사용되는 손실함수



---

5. 함수 근사 이론 (Function Approximation)

> 신경망은 복잡한 함수를 근사하는 기계



Universal Approximation Theorem
→ 하나의 은닉층만으로도 연속함수를 임의의 정확도로 근사 가능

Activation Function 이론
→ ReLU, sigmoid, tanh 등 함수 근사 특성 분석



---

6. 신경망 이론 (Neural Network Theory)

> 딥러닝 모델의 작동 원리와 수학적 성질



Backpropagation Algorithm
→ 오차 역전파로 가중치 갱신

Gradient Vanishing/Exploding
→ 깊은 신경망에서의 학습 불안정

Normalization 기법
→ BatchNorm, LayerNorm 등 안정적인 학습을 위한 수학적 정규화



---

7. 강화학습 이론 (Reinforcement Learning Theory)

> 행동-보상 기반 지능



벨만 방정식 (Bellman Equation)
→ 최적 가치 함수 계산

정책(policy)과 가치(value) 함수의 분리
→ Actor-Critic, Policy Gradient

탐사 vs 활용(exploration vs exploitation) 이론



---

요약 표


---

필요하시면 각 이론별로 핵심 정리 + 수식 + 대표 알고리즘도 구성해 드릴 수 있습니다.