当前在线人数16888
首页 - 分类讨论区 - 电脑网络 - 数据科学版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
spark上一两个million的时间序列数据
[版面:数据科学][首篇作者:Salgado] , 2017年12月14日06:36:56 ,642次阅读,4次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
Salgado
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: Salgado (lol), 信区: DataSciences
标  题: spark上一两个million的时间序列数据
发信站: BBS 未名空间站 (Thu Dec 14 06:36:56 2017, 美东)

目前最大的问题是spark dataframe没有好的包能用,只能自己手动抄代码写模型。
sample出来用包的话,感觉浪费数据了,还是想把百万数据先分类再分别fit模型。大
家有什么好建议?
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 103.]

 
staftermath
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: staftermath (彦清风), 信区: DataSciences
标  题: spark上一两个million的时间序列数据
发信站: BBS 未名空间站 (Thu Dec 14 13:23:34 2017, 美东)

Batch train?数据分成几百个小部分。

--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 99.]

 
Salgado
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: Salgado (lol), 信区: DataSciences
标  题: Re: spark上一两个million的时间序列数据
发信站: BBS 未名空间站 (Tue Dec 19 02:33:25 2017, 美东)

能展开说说嘛,折腾了半天还是决定用r,我们的大数据平台上没有。怎么化整为零的做
聚类和预测比较好?
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 103.]

 
staftermath
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: staftermath (彦清风), 信区: DataSciences
标  题: Re: spark上一两个million的时间序列数据
发信站: BBS 未名空间站 (Sun Dec 24 00:30:57 2017, 美东)

不知道你说的大数据平台是什么。这个问题没有详细的开发环境解释没法解决。我有预
感你们想做的东西不是免费的答复能解决的…


【 在 Salgado(lol) 的大作中提到: 】
<br>: 能展开说说嘛,折腾了半天还是决定用r,我们的大数据平台上没有。怎么化整为
零的做
<br>: 聚类和预测比较好?
<br>
--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2605:ef80:3e:f4]

 
Eagleflying
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: Eagleflying (惭愧), 信区: DataSciences
标  题: Re: spark上一两个million的时间序列数据
发信站: BBS 未名空间站 (Wed Dec 27 14:37:31 2017, 美东)

看你要做什么模型
这么一点数据量,直接训练模型就好,分类再分别fit是什么意思?

【 在 Salgado (lol) 的大作中提到: 】
: 目前最大的问题是spark dataframe没有好的包能用,只能自己手动抄代码写模型。
: sample出来用包的话,感觉浪费数据了,还是想把百万数据先分类再分别fit模型。大
: 家有什么好建议?



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

[分页:1 ]
[快速返回] [ 进入数据科学讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996