Cho một hàm số nhiều biến số
f:Rn→Rx ↦f(x)=y
▸ GRADIENT (Đạo hàm cấp 1) của f là một ma trận cỡ n×1:
- Ký hiệu: ∇f(x)
- Công thức tính:
∇f(x)=(∂x1∂f,∂x2∂f,…,∂xn∂f)⊤
Trong đó, ∂xi∂f là đạo hàm riêng của hàm f theo biến xi.
▸ HESSIAN (Đạo hàm cấp 2) của f là một ma trận cỡ n×n:
- Ký hiệu: ∇2f(x)
- Công thức tính:
∇2f(x)=∂x12∂2f∂x2∂x1∂2f⋮∂xn∂x1∂2f∂x1∂x2∂2f∂x22∂2f⋮∂xn∂x2∂2f⋯⋯⋱⋯∂x1∂xn∂2f∂x2∂xn∂2f⋮∂xn2∂2f
Dưới đây là bảng Gradient và Hessian của một số hàm số thường gặp
| f(x) | ∇f(x) | ∇2f(x) |
|---|
| x | I | 0 |
| A⊤x | A | 0 |
| x⊤Ax | (A+A⊤)x | A+A⊤ |
| x⊤x=∥x∥2 | 2x | 2I |
| ∥Ax−b∥2 | 2A⊤(Ax−b) | 2A⊤A |
| (A⊤x)⊤b | 2A⊤b | 0 |
| b⊤x | b | 0 |
| x⊤Ax+b⊤x | (A+A⊤)x+b | A+A⊤ |