[AI를 위한 필수 수학] 3. 데이터에 함수를 최적화시키는 방법

챕터3에서는 데이터 세트를 적절한 함수에 최적화하고 이 함수가 새 데이터에서 잘 수행되는지 확인하는 방법을 설명한다. 이 장에서는 이 과정이 인공 지능 문제의 핵심이며, 이후 챕터에서 더 복잡한 작업을 일반화되는 방법을 보여준다.

• 많은 머신 러닝 모델의 핵심은 주어진 데이터 포인트 세트를 적절한 함수에 최적화 하는 것.
• 회귀, 로지스틱 회귀, 서포트 벡터 머신과 같은 인기 있는 머신 러닝 기술을 소개한다.
• 이러한 기술들을, 훈련 함수, 손실 함수, 최적화 라는 통합 주제를 공유한다.
• 훈련 함수는 데이터에서 학습한 매개변수를 사용하여 입력 데이터에서 출력을 예측한다.
• 손실 함수는 훈련 함수의 예측과 실제 데이터 레이블 간의 오차를 측정한다.
• 최적화는 손실 함수를 최소화하는 매개변수 값을 찾는다.

중요한 개념들

• 회귀 : 수치형 값을 예측하는 데 사용됨
• 선형 회귀 : 데이터에 선형 함수를 맞춤.
• 로지스틱 회귀 : 이진 분류에 사용되며, 데이터에 시그모이드 함수를 맞춘다.
• 서포트 벡터 머신 : 데이터 포인트를 분리하는 최적의 초평면을 찾는다.
• 손실 함수 : 평균 제곱 오차, 교차 엔트로피, 힌지 손실과 같은 다양한 유형의 손실 함수가 있다.
• 최적화 : 경사 하강법은 손실 함수를 최소화하는 데 널리 사용된다.
• 볼록 함수 : 지역 최솟값이 전역 최솟값이기 때문에 최적화하기 쉽다.
• 비볼록 함수 : 여러 개의 지역 최솟값을 가지므로 최적화하기 어려울 수 있다.
• 수치적 해 : 컴퓨터를 사용하여 근사값을 찾는 것.
• 해석적 해 : 수학적 공식을 사용하여 정확한 해를 찾는 것.

챕터 3의 핵심 메시지는 데이터에 함수를 맞추는 과정이 머신 러닝의 핵심이며, 다양한 모델과 기술이 이 목표를 달성하기 위해 사용된다는 것이다.