How to model nonlinear regression?|统计论文研究辅助

一位英国留学生客户在写优化方向的论文时提出了如下问题

作为我统计学研究的一部分，我最近发现了这篇论文

它提供了基于线性模型的优化观点。

实际上在线性回归或者二次函数回归问题中解决问题的方法很简单，比如我们可以用least squares method，但是在非线性问题中回归就变得很复杂

In simple linear regression, quadratic programming can be used to solve the problem where for least squares, the objective is
$$
\begin{array}{ll}
\min & Q(\beta)=(Y-X \beta)^{\prime}(Y-X \beta) \
\text { s.t. } & A \beta \geq C \
& \beta \geq 0
\end{array}
$$
The notation should be fairly self-explanatory.
However, for nonlinear regression, things are more complicated. For example, the MichaelisMenten model is multivariate, given by $f(x, \beta)=\beta_{1} x /\left(\beta_{2}+x\right)$. It is possible to transform any nonlinear model to a linear one, but there is an element of risk as the errors are altered.
Is there any literature that provides a procedure on how to tackle this type of regression?

我们给出的回答是

首先网上有不错的资料可以参考：NEOS有一个关于非线性最小二乘的不错的网页。它包含非线性最小二乘法的几个经典（即，不是现在的最佳结果，但作为用来理解非线性优化的精髓很好）参考。

另外一份很好的ppt是Niclas Börlin的一份对非线性最小二乘的数学以及解决它们的算法有很好的介绍的note

确实有专门的非线性最小二乘算法，例如 Levenberg-Marquardt 和 Gauss-Newton（又名迭代线性最小二乘法），它们利用了最小二乘问题中的特殊结构 一般来说，它们是当最优解的残差很小时的，相对于更一般的非线性优化更具有优势的算法。但是最优解的残差不小，这两个非线性最小二乘算法就会失去相对于常规算法的优点，甚至收敛性都不能保证。

而且由于过去几十年通用非线性优化算法和显卡计算能力的进步，我认为在大多数情况下，专门的非线性最小二乘算法的优势正在慢慢丧失，而高质量的更通用的软件在术语上也更灵活允许约束，并且使用范围更广。

最后，请注意，（半）严格的全局优化器，例如 BARON，可以找到非凸（非线性回归）问题的全局最优解，至少对于规模不是太大问题（就参数数量而言）。