当前在线人数15492
首页 - 分类讨论区 - 学术学科 - 统计版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
问个prediction model的evaluation问题
[版面:统计][首篇作者:lightofhope] , 2020年06月29日12:00:59 ,266次阅读,2次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
lightofhope
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: lightofhope (希望之光), 信区: Statistics
标  题: 问个prediction model的evaluation问题
发信站: BBS 未名空间站 (Mon Jun 29 12:00:59 2020, 美东)

我自己做了一个project,就是用
10000+ features to predict four biological scores.

我现在就是拿predicted scores和groundtruth算一下RMSE来衡量预测效果

我想请问有啥方法能衡量significance或者sample size之类的?

谢谢


--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
starviewer
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: starviewer (skyline), 信区: Statistics
标  题: Re: 问个prediction model的evaluation问题
发信站: BBS 未名空间站 (Mon Jun 29 19:22:48 2020, 美东)

算几个距离,可以考虑用k-s test, energy distance, earth mover distance.
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:8801:1b80:]

 
beidapig
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: beidapig (做人要谦虚), 信区: Statistics
标  题: Re: 问个prediction model的evaluation问题
发信站: BBS 未名空间站 (Mon Jun 29 20:24:31 2020, 美东)

eval要找对产品有决定意义的metrics。

RMSE本身是没有意思,比如有两个模型预测股价,A的误差小,但是老把赚钱亏钱弄反
,B的误差大,但是误差方向随机。如果跑n次买卖股票的simulation,B的结果会更好。

比如你的score是用来从一大堆药里找备选药,那么有用的metrics就是比如1000个随机
药里,有用的那个药score最大的概率。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 98.]

[分页:1 ]
[快速返回] [ 进入统计讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996