$L$-definition denoted by Frobenius inner product
$$L= \left \langle y, \log\hat{y} \right \rangle_{{\rm F}}+ \left \langle 1- y, \log\left ( 1- \hat{y} \right ) \right \rangle_{{\rm F}}$$
Từ định nghĩa trên của Log loss, ta sẽ tính đạo hàm và gradient, dùng toán tử Hadamard đã sử dụng với tích $\odot$ và thương $\oslash$
$\begin{matrix}{\rm d}L= \left \langle y, {\rm d}\log\left ( \hat{y} \right ) \right \rangle_{{\rm F}}+ \left \langle 1- y, {\rm d}\log\left ( 1- \hat{y} \right ) \right \rangle_{{\rm F}}= & \\ =\!\left \langle y\oslash\hat{y}, {\rm d}\hat{y} \right \rangle_{{\rm F}}+ \left \langle \left ( 1- y \right )\oslash\left ( 1- \hat{y} \right ), {\rm d}\left ( 1- \hat{y} \right ) \right \rangle_{{\rm F}}\; & =\!\left \langle y\oslash\hat{y}- \left ( 1- y \right )\oslash\left ( 1- \hat{y} \right ), {\rm d}\hat{y} \right \rangle_{{\rm F}}\;\end{matrix}$
Có được gradient $\frac{\partial L}{\partial x}= \left ( y- \hat{y} \right )\oslash\left ( \hat{y}- \hat{y}\odot\hat{y} \right )$.
