动手学深度学习v2

课程网址：https://courses.d2l.ai/zh-v2/

教材网址：https://zh-v2.d2l.ai/

Pytorch论坛：https://discuss.pytorch.org/

深度学习基础

交叉熵：用来衡量两个概率的区别 $H(p, q)=\sum_i-p_ilog(q_i)$

作为$loss$：$l(y,\hat y)=-\sum_iy_ilog\hat y_i=-\log \hat y_y$

其梯度是真实概率和预测概率的区别：$\delta_{o_i}l(y,\hat y)=softmax(o)_i-y_i$

L1 Loss: $l(y, y \prime)=\mid y-y \prime \mid$，由于梯度稳定，所以即使差值很大，也能维持稳定，但是在0点不可导，且两侧变化剧烈，如果预测值和真实值较为接近的时候，会很不稳定

L2 Loss: $l(y, y \prime)=\frac{1}{2}(y-y \prime)^2$

Huber’s Robust Loss: （$-\frac{1}{2}$是为了函数连起来） \(l(y, y\prime) = \begin{cases} \mid y-y \prime \mid-\frac{1}{2}, & \text{if $\mid y-y \prime \mid > 1$} \\ \frac{1}{2}(y-y \prime)^2, & \text{otherwise} \end{cases}\)