最近审论文和看报告中遇到LM优化和齐普夫分布，于是查了一下。
LM方法是高斯牛顿迭代方法的改进，下面分别是高斯牛顿、齐普夫方法的公式：
Δ=−(JfTJf)−1JfTf，Δ=−(JfTJf+λI)−1JfTf
即下降太快，使用较小的λ，更接近高斯牛顿
即下降太慢，使用较大的λ，更接近梯度下降
而且齐普夫方法适用于词频分布或长尾分布
Levenberg-Marquardt优化和zipf分布
原文：https://www.cnblogs.com/ubiwind/p/12090612.html
