Linear regression

1. Linear regreesion이란?
입력 변수 x와 출력 변수 y 사이의 관계를 선형 함수로 모델링하는 지도학습 기법입니다.
형태:
  y = w * x + b
여기서 w는 기울기, b는 절편입니다.
목표는 실제 값과 예측 값의 차이(오차)를 최소화하는 w, b를 찾는 것입니다.


2. 어떤 식으로 찾는가?
보통 **평균제곱오차(MSE)**를 최소화하도록 w, b를 찾습니다.

MSE 식:
  MSE = (1/n) Σ (yᵢ - (w xᵢ + b))²

이를 w, b에 대해 미분하고, 그라디언트 디센트(경사하강법) 같은 방법으로 최적값을 찾습니다.
또는 닫힌 해를 원하면 정규방정식 사용:
  w = (XᵀX)⁻¹Xᵀy (벡터/행렬 형태에서)

2-1. 닫힌 해란?
미분 방정식이나 최적화 문제에서 해를 수치적 반복 없이 수식으로 직접 구할 수 있는 경우를 **닫힌 해(closed-form solution)**라고 합니다.
즉, 직접 계산 가능한 공식 형태의 해입니다.
반대는 **수치적 해(numerical solution)**로, 반복 계산을 통해 근사합니다.

2-2. gradient descent란?
함수의 **기울기(gradient)**를 따라 손실 함수 값을 최소화하는 방향으로 파라미터를 반복적으로 조정하는 최적화 알고리즘입니다.

업데이트 식 (예: 선형 회귀의 w, b):
  w ← w - η * ∂L/∂w
  b ← b - η * ∂L/∂b
(η는 학습률, L은 손실 함수)

즉, 손실이 가장 많이 줄어드는 방향으로 조금씩 이동시켜 최적값을 찾습니다.

2-2-1. learning rate란?
파라미터를 얼마나 크게 조정할지 결정하는 하이퍼파라미터입니다.
기호로는 보통 η (eta) 사용합니다.

너무 크면: 발산하거나 최솟값을 지나침

너무 작으면: 수렴이 너무 느림

적절한 값을 설정하는 것이 중요합니다.

3. 등고선이란?
등고선(contour line)은 2변수 함수 f(x, y)에서 함수값이 같은 점들을 이은 선입니다.
즉, f(x, y) = c인 점들의 집합입니다.

예:
f(x, y) = x² + y²의 등고선은 원들입니다 (c 값마다 반지름 다른 원).
최적화에서는 손실 함수의 등고선을 그려서 경사하강법의 이동 방향을 시각화할 수 있습니다.