当前在线人数8790
首页 - 分类讨论区 - 学术学科 - 数学版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
关于最优化里面的牛顿法一问
[版面:数学][首篇作者:flymetomoon] , 2017年08月02日08:15:37 ,531次阅读,1次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
flymetomoon
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: flymetomoon (flymetomoon), 信区: Mathematics
标  题: 关于最优化里面的牛顿法一问
发信站: BBS 未名空间站 (Wed Aug  2 08:15:37 2017, 美东)

我对基于二阶导数的最优化算法牛顿法和基于一阶导数的算法例如共轭梯度法很熟悉。

一般认为,使用牛顿法会比基于一阶导数的算法例如共轭梯度法在很多情况下都好一些
,例如更快、更准确、更稳定。(https://cn.mathworks.com/help/optim/ug/fmincon
-interior-point-algorithm-with-analytic-hessian.html?requestedDomain=www.
mathworks.com, "When you supply a Hessian, you may obtain a faster, more
accurate solution to a constrained minimization problem.").

我的问题是,在具体什么情况下,牛顿法比基于一阶导数的算法更好?什么情况下,它
们差不多?

我看了很多书也没明白。

请您回答的时候,顺便提供参考文献。谢谢!

--
※ 修改:·flymetomoon 於 Aug  2 08:17:03 2017 修改本文·[FROM: 47.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 47.]

 
yexf308
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: yexf308 (Go huskies), 信区: Mathematics
标  题: Re: 关于最优化里面的牛顿法一问
发信站: BBS 未名空间站 (Wed Aug  2 20:23:02 2017, 美东)

Rosenburg function 这种形状的函数一阶就很慢,如果用二阶的信息话,等价于把这
个月牙性的几何放大,就能很快的收敛。
问题是一般牛顿法的难度是算矩阵的逆,如果很高维的系统就很难算,一般的话会用
quasi 二阶的,比如BFGS 之类。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

[分页:1 ]
[快速返回] [ 进入数学讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996