🌟常用的范数求导🌟
科技
2025-03-17 07:33:58
导读 在数学和机器学习中,范数求导是一个非常基础且重要的概念。无论是L1范数还是L2范数,它们的导数都能帮助我们优化模型。✨首先,让我们了解...
在数学和机器学习中,范数求导是一个非常基础且重要的概念。无论是L1范数还是L2范数,它们的导数都能帮助我们优化模型。✨
首先,让我们了解一下L2范数(欧几里得范数)。它的公式是:\[||x||_2 = \sqrt{\sum_{i=1}^{n} x_i^2}\]。对于向量 \(x\),其梯度为 \(\frac{\partial ||x||_2}{\partial x} = \frac{x}{||x||_2}\)。这个结果常用于正则化项,比如在最小二乘法或回归分析中。🎯
接着是L1范数(曼哈顿距离),公式为:\[||x||_1 = \sum_{i=1}^{n} |x_i|\]。它的导数是:\[\frac{\partial ||x||_1}{\partial x_i} = \text{sign}(x_i)\],其中sign函数返回 \(x_i\) 的符号。L1范数因其稀疏性,在特征选择和压缩感知中大放异彩。🔍
此外,还有Frobenius范数(矩阵范数),它对矩阵的操作类似L2范数对向量的作用。掌握这些基本的范数及其求导规则,能让你在算法调优时更加得心应手!💪
数学之美 机器学习基础知识 深度学习