최소 제곱법

선형 회귀(Linear Regression)

선형 회귀는 주어진 데이터를 학습하여 가장 합리적인 선형 함수를 찾아내는 문제입니다.

이 방법은 데이터 포인트들이 선형 관계를 가질 때, 그 관계를 설명하고 예측할 수 있도록 도와줍니다.

일반적으로 학습 데이터가 3개 이상일 때 의미가 있습니다.

 

선형 함수 모델

이제 우리의 모델(W와 b)을 수정해 나가면서 가장 합리적인 식을 찾아낼 수 있다.

가설함수 : f(x) = Wx + b

 

비용

우리의 모델이 뱉은 답이 실제 정답과 얼마나 다른지 수치화한 것

우리의 모델이 정확하지 않다면, 높은 비용이 발생

비용은 다른 말로 손실(loss)이라고 한다.

 

 

최소제곱법(Least Square Method)

평균 제곱 오차를 이용 할 수 있다.

따라서 다음식을 최소화하는 파라미터(W,b)를 찾는것이 목표

이를 최소제곱법이라고 한다.

m : 데이터 개수

 

경사하강(gradient descent)

최소 제곱을 얻는 방법 중 하나

기울기를 이용하여 비용을 줄이는 방법

미분을 이용하면 특정 값에서의 기울기를 구할 수 있다.