1 Huber loss

1.1 介绍

• Huber Loss是回归问题中的一种损失函数，它结合了均方误差MSE和绝对误差MAE的特点。
  • Huber Loss在误差较小的时候是平方损失，而在误差较大的时候是线性损失。
  • 因此，它在处理有噪声的数据时，尤其是存在离群点的情况下，比MSE更加鲁棒。
• 定义如下：
  • 
  • δ是一个超参数，上式等号右边第一项是 MSE 的部分（[-δ,+δ])，第二项是 MAE 部分【(-∞,-δ)和(δ，+∞）】
• 

1.2 python实现

import numpy as npdef huber_loss(y_true, y_pred, delta=1.0):"""计算Huber损失。参数:- y_true: 真实值- y_pred: 预测值- delta: 阈值返回:- Huber损失"""error = y_true - y_predabs_error = np.abs(error)# 计算两种损失quadratic_loss = 0.5 * np.square(error)linear_loss = delta * (abs_error - 0.5 * delta)# 根据误差的绝对值选择损失return np.where(abs_error <= delta, quadratic_loss, linear_loss)# 示例
y_true = np.array([2.0, 2.5, 3.5])
y_pred = np.array([2.5, 2.0, 2.0])
huber_loss(y_true, y_pred)

2 Smooth L1 loss