[인공지능 기초 지식] Loss Function 손실 함수

1. Loss Function 이란?

모델의 예측값과 실제값 사이의 차이를 수치화하는 함수입니다.

모델 학습의 목표는 손실함수의 값을 최소화하는 파라미터를 찾는 것입니다. 손실함수의 값이 작을수록 모델의 예측이 실제 데이터와 더 가깝다는 것을 의미하기 때문입니다.

 

2. Loss Function 종류

손실 함수는 주로 회귀 문제의 손실 함수와 분류 문제의 손실 함수로 나뉩니다.

2-1. 회귀 문제의 손실 함수

회귀는 연속된 값을 예측하는 것을 의미합니다.

 

1. 평균 제곱 오차(Mean Squared Error, MSE)

예측값과 실제값의 차이를 제곱하여 평균을 낸 것입니다. 오차가 클수록 손실이 기하급수적으로 증가해 큰 오차를 더 중요하게 다루게 합니다.

2. 평균 절대 오차(Mean Absolute Error, MAE)

예측값과 실제값의 차이의 절대값을 평균으로 낸 것입니다. 모든 오차를 동일하게 취급하며 이상치에 대해 MSE보다 덜 민감합니다.

 

2-2. 분류 문제의 손실 함수

분류는 카테고리를 예측하는 것을 의미합니다.

 

1. 이진 크로스 엔트로피(Binary Cross-Entropy)

이진 분류에서 사용하는 손실 함수입니다. 이진 분류는 어떤 사진이 주어졌을 때, 사진이 고양이인지 강아지인지 분류하는 것과 같이 카테고리가 2개인 분류 문제를 의미합니다.

 

2. Categorical Cross-Entropy

다중 분류에서 사용합니다.

• 입력 데이터 형태: 원-핫 인코딩된 벡터
• 예: 각 클래스에 대한 확률 분포를 나타내는 벡터를 예측값으로 받습니다. 예를 들어, 3개의 클래스가 있고 첫번째 클래스가 정답일 경우, 실제 벡터값은 [1, 0, 0]이고 모델의 예측값은 [0.8, 0.1, 0.1]과 같습니다. 이때 모델의 예측값을 구할 때 softmax를 사용합니다.

2. Sparse Cross-Entropy

Categorical Cross-Entropy와 같이 다중 분류에서 사용하지만 입력 데이터의 형태가 다릅니다.

• 입력 데이터 형태: 정수 레이블
• 예: 각 데이터 포인트에 대한 정답 클래스의 인덱스를 받습니다. 예를 들어, 3개의 클래스가 있고 첫 번째 클래스가 정답일 경우, 실제값은 0이 됩니다.