当前在线人数16963
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
请教关于OpenNLP 和 Stanford NLP 选择
[版面:葵花宝典][首篇作者:Youcao] , 2018年02月11日10:12:32 ,657次阅读,20次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 10:12:32 2018, 美东)

最近在做公司的NLP平台,要从Open source的Java NLP 工具中选一个。不知道OpenNLP
, Stanford NLP哪个更好些。我自己两个都用过,感觉同样的text,Stanford NLP
tokenization, parsing 结果更准确一些,不过差别不是特别大。都会需要再处理一下。

想了解一些,如果作为一个大系统(有后台数据库,前端web app及其他业务模块)的
NLP Pipeline,这两个有什么优缺点呢?

多谢🙏
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 12:08:57 2018, 美东)

Stanfordnlp,提供的功能要多得多。opennlp只能做entity recognition,stanford可
以做relation extraction和coreference。扩展性上stanford可以在给定数据库上训练
模型,并把模型嵌入pipeline。但是stanford的学习曲线明显高一些,并且因为是学术
界写的库,有的时候所谓的性能优化处理让人有点哭笑不得的感觉。我建议nlp直接上
spacy + tensorflow/pytorch做深度学习,如果数据量比较大的话。

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 最近在做公司的NLP平台,要从Open source的Java NLP 工具中选一个。不知道
OpenNLP
: , Stanford NLP哪个更好些。我自己两个都用过,感觉同样的text,Stanford NLP
: tokenization, parsing 结果更准确一些,不过差别不是特别大。都会需要再处理一
下。
: 想了解一些,如果作为一个大系统(有后台数据库,前端web app及其他业务模块)的
: NLP Pipeline,这两个有什么优缺点呢?
: 多谢🙏




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:1017:b817:]

 
caaa
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: caaa (小海), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 13:33:04 2018, 美东)

Java stack 怎么整合spacy pytorch?




[在  mianwo (↖(^ω^)↗) 的大作中提到:]
:Stanfordnlp,提供的功能要多得多。opennlp只能做entity recognition,stanford
可以做relation extraction和coreference。扩展性上stanford可以在给定数据库上训
练模型,并把模型嵌入pipeline。但是stanford的学习曲线明显高一些,并且因为是学
术界写的库,有的时候所谓的性能优化处理让人有点哭笑不得的感觉。我建议nlp直接上
:spacy + tensorflow/pytorch做深度学习,如果数据量比较大的话。
:OpenNLP
:☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 13:45:35 2018, 美东)

训练出来的tf模型可以部署到java上

【 在 caaa (小海) 的大作中提到: 】
: Java stack 怎么整合spacy pytorch?
: [在  mianwo (↖(^ω^)↗) 的大作中提到:]
: :Stanfordnlp,提供的功能要多得多。opennlp只能做entity recognition,
stanford
: 可以做relation extraction和coreference。扩展性上stanford可以在给定数据库上训
: 练模型,并把模型嵌入pipeline。但是stanford的学习曲线明显高一些,并且因为是学
: 术界写的库,有的时候所谓的性能优化处理让人有点哭笑不得的感觉。我建议nlp直
接上
: :spacy + tensorflow/pytorch做深度学习,如果数据量比较大的话。
: :OpenNLP
: :☆ 发自 iPhone 买买提 1.24.06




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
caaa
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: caaa (小海), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 13:49:29 2018, 美东)

明白了

那么pytorch这部分 不参与maven clean install?



[在  mianwo (↖(^ω^)↗) 的大作中提到:]
:训练出来的tf模型可以部署到java上
:stanford
:接上
:☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·iOS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 192.]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 14:53:07 2018, 美东)


多谢,训练出来的tf模型也需要NLP pipeline pre-procdessing的features(syntax
features, POS feature等等)来做输入吧,那么用哪个OpenNLP还是Stanford呢?目前
倾向于OpenNLP, 因为Stanford是GPLlicense,但是怕OpenNLP有其他问题,比如不能
handle heavy processing等等,想看看有没有人有这个经验。



【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: 训练出来的tf模型可以部署到java上
: stanford
: 接上



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 16:57:39 2018, 美东)

准备feature这段无非就是作tokenization和word embeddings转换,写段java程序调用
opennlp或者stanford就可以了。

【 在 caaa (小海) 的大作中提到: 】
: 明白了
: 那么pytorch这部分 不参与maven clean install?
: [在  mianwo (↖(^ω^)↗) 的大作中提到:]
: :训练出来的tf模型可以部署到java上
: :stanford
: :接上
: :☆ 发自 iPhone 买买提 1.24.06




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 16:59:07 2018, 美东)

做深度学习的话只需要raw word embedding feature,不用搞pipeline那么复杂

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 多谢,训练出来的tf模型也需要NLP pipeline pre-procdessing的features(syntax
: features, POS feature等等)来做输入吧,那么用哪个OpenNLP还是Stanford呢?目前
: 倾向于OpenNLP, 因为Stanford是GPLlicense,但是怕OpenNLP有其他问题,比如不能
: handle heavy processing等等,想看看有没有人有这个经验。




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 17:05:02 2018, 美东)

但是我建议即便决定用深度学习,还是尽量使用Stanford做一下baseline,保证你的
deep model性能起码要beat shallow model。

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 多谢,训练出来的tf模型也需要NLP pipeline pre-procdessing的features(syntax
: features, POS feature等等)来做输入吧,那么用哪个OpenNLP还是Stanford呢?目前
: 倾向于OpenNLP, 因为Stanford是GPLlicense,但是怕OpenNLP有其他问题,比如不能
: handle heavy processing等等,想看看有没有人有这个经验。




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 10 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 20:45:59 2018, 美东)


比如做Semantic Role Labeling, 也只需要raw word embedding? 不需要head noun,
semantic type之类的feature?

【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: 做深度学习的话只需要raw word embedding feature,不用搞pipeline那么复杂



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 11 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 20:46:22 2018, 美东)


比如做Semantic Role Labeling, 也只需要raw word embedding? 不需要head noun,
semantic type之类的feature?

【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: 做深度学习的话只需要raw word embedding feature,不用搞pipeline那么复杂



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 12 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 21:45:12 2018, 美东)

POS tagging都直接可以用lstm搞定,你这个应该也可以,不过可能需要去找些文章读
读。

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 比如做Semantic Role Labeling, 也只需要raw word embedding? 不需要head noun

: semantic type之类的feature?




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 13 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Sun Feb 11 21:59:46 2018, 美东)


多谢,不过这个我还真没见过用 raw word 做的文章。
【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: POS tagging都直接可以用lstm搞定,你这个应该也可以,不过可能需要去找些文章读
: 读。
: ,



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
silverhawk
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 14 ]

发信人: silverhawk (silverhawk), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Mon Feb 12 03:26:52 2018, 美东)

哪里有经典的LSTM搞定POS的文章?推荐一下
【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: POS tagging都直接可以用lstm搞定,你这个应该也可以,不过可能需要去找些文章读
: 读。
: ,



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 24.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 15 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Mon Feb 12 07:52:35 2018, 美东)

看看这个
https://github.com/UKPLab/deeplearning4nlp-tutorial

【 在 silverhawk (silverhawk) 的大作中提到: 】
: 哪里有经典的LSTM搞定POS的文章?推荐一下




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 16 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Mon Feb 12 07:56:08 2018, 美东)

https://github.com/XMUNLP/Tagger

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 多谢,不过这个我还真没见过用 raw word 做的文章。




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 108.]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 17 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Mon Feb 12 11:20:19 2018, 美东)


我指的的是Semantic Role Labeling 用只用raw word做feature。

【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: https://github.com/XMUNLP/Tagger



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
mianwo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 18 ]

发信人: mianwo (↖(^ω^)↗), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Mon Feb 12 14:26:04 2018, 美东)

你再去看看它的描述,就是用的glove做word embeddings啊,训练模型是attention
network。

【 在 Youcao (JianBianSheng) 的大作中提到: 】
: 我指的的是Semantic Role Labeling 用只用raw word做feature。




--
☆ 发自 iPhone 买买提 1.24.06
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:1017:b41e:]

 
Youcao
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 19 ]

发信人: Youcao (JianBianSheng), 信区: Programming
标  题: Re: 请教关于OpenNLP 和 Stanford NLP 选择
发信站: BBS 未名空间站 (Wed Feb 14 13:57:30 2018, 美东)


多谢,Github 和那篇文章都看过了,挺不错的。

【 在 mianwo (↖(^ω^)↗) 的大作中提到: 】
: 你再去看看它的描述,就是用的glove做word embeddings啊,训练模型是attention
: network。


--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996