当前在线人数11984
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
这个改进TCP的研究看起来很厉害
[版面:葵花宝典][首篇作者:fantasist] , 2019年08月22日20:38:45 ,1462次阅读,18次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
fantasist
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: fantasist (一), 信区: Programming
标  题: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Thu Aug 22 20:38:45 2019, 美东)

2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔
” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心
血之作的全过程。

邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻
人。同时,他们的另一个身份是阿里巴巴工程师。


阿里代表正在SIGCOMM 2019做分享

近日,他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题
提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着
阿里巴巴在基础研究上又一重大突破。

这样的CP结缘于阿里云栖大会数学大赛。年近6旬的Frank Kelly是全球知名的数学家,
曾因成功通过经济学理论建模和解释了互联网技术中最基础的传输协议TCP(
Transportation Control Protocol)拥塞控制而声名大噪:他用经济学理论对TCP的收
敛性和公平性做出分析,从理论上论证了TCP在互联网环境下的稳定性和有效性。而在
当时,张铭(现为阿里云智能研究员)正在普林斯顿大学的攻读博士,Kelly教授的著
作正是他常读的经典论文之一,其中不少观点对张铭日后的网络研究大有启发。


Frank Kelly与阿里HPCC相关论文作者合影

随着云计算的迅猛发展,面向大规模数据中心的高性能网络架构正成为主流,
FrankKelly教授当年所论证的TCP拥塞控制在新一代高性能网络中面临严峻挑战,这也
正是当下数据中心网络里面临的核心难题之一。

2018年9月,Frank Kelly受邀到杭州参加阿里数学大赛开幕仪式,在与张铭所属的阿里
基础设施网络团队交流中,了解到目前高速网络拥塞控制遇到的挑战。


Frank Kelly与阿里工程师交流

作为拥塞控制的早期研究者,Kelly教授对此产生了浓厚的兴趣。凭借Kelly教授对网络
理论的敏锐嗅觉和张铭团队对高性能数据中心网络的丰富实战经验,双方不约而同产生
了一个大胆的猜想:目前主流的高速网络拥塞控制算法在理论上很可能无法证明其稳定
性,且这就是造成一系列工程实践问题的根本原因。

于是双方决定展开合作,共同解决大规模、高性能网络拥塞控制这一世界级难题。从此
之后,阿里西雅图办公室与英国剑桥大学之间的电话经常响起,无数想法在其间碰撞。

历经4个多月的跨洋合作,双方终于设计出了一套全新的高性能网络拥塞控制算法HPCC
。不同于当前主流的拥塞控制算法,HPCC不但在理论上有稳定性,高效性和公平性的保
证,而且在拥塞场景下的网络延迟比现有的算法好上几十倍到上百倍。

在世界各地,各种各样的电脑运行着各自不同的操作系统,这些电脑在表达同一种信息
的时候所使用的方法是千差万别。因而需要通过建立标准的网络协议把各种计算机连接
起来,才能完成计算机间相互交流,TCP(Transportation Control Protocol)协议应
运而生。

TCP就像是给计算机世界里铺设了统一的道路,使得信息的实时传输成为可能。在现实
的交通网络里,只有宽阔的道路,没有红绿灯,没有好的交通规则和交通控制和疏导系
统是不够的。计算机世界里同理,网络带宽资源是有限的,阿里巴巴工程师和Kelly教
授设计了全新的拥塞控制算法,就好比是数据中心网络里的“红绿灯”系统,保证每台
服务器的流量是可控且公平的,既不会因为带宽资源过少造成网络卡顿, 也不会让某一
方获得过大的带宽,阻塞其他的流量。

在有着浓厚的理想主义和现实主义色彩的阿里,人们对技术创新的要求不仅仅是停留在
实验室,而是真正用技术创新去服务于实际生产。于是,在HPCC初见成效之际,阿里网
络团队决定在模拟真实生产环境的软硬件上,实现和测试这一新算法。

经过精巧的软硬件设计和4万多行代码的编写,阿里网络团队仅仅用2个月就快速和高效
地实现了HPCC及相关的协议栈原形。实验表明,HPCC不但可以在现有硬件上高效率的实
现,而且其实际效果和理论分析的结果高度吻合。这意味着HPCC为下一代高性能网络拥
塞控制开启了一个全新的研究思路和方向,并将对云计算网络的设计和运营产生长远和
深刻的影响。

阿里工程师们与Kelly教授的这次合作依稀让人感觉时空交织的惊奇与美妙。50后Kelly
的著作启发了70后的张铭博士的博士研究工作,张铭又在多年后带领着团队里的80后90
后年轻人与Kelly并肩作战,在新一代网络技术的浪潮中挑战传统,面向未来。

对基础研究的投入和支持不能只停留在理论层面,还需要联合一线工程师与应用场景的
紧密结合。也许这正是阿里巴巴成立达摩院支持基础研究的原因。正如阿里云智能总裁
,达摩院院长张建锋在2019年阿里云峰会上所说:“(阿里巴巴)全集团的科研力量将
融会贯通,达摩院的能力与云全面结合。未来还将加大研发投入,扩大云的技术代差优
势。”

随着阿里巴巴技术实力的崛起和对基础研究的重视,我们有足够的理由相信,未来如这
样的神奇之旅,未完待续。


--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 99.]

 
fantasist
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: fantasist (一), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Thu Aug 22 20:39:25 2019, 美东)

原文:https://mp.weixin.qq.com/s/xUiOHTM8MYnKcWe8POIk_Q

--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 99.]

 
helpme
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: helpme (名虚胖字满肥), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Thu Aug 22 21:03:42 2019, 美东)

算法paper呢?


【 在 fantasist (一) 的大作中提到: 】
: 原文:https://mp.weixin.qq.com/s/xUiOHTM8MYnKcWe8POIk_Q



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 67.]

 
fantasist
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: fantasist (一), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 01:07:04 2019, 美东)

https://dl.acm.org/citation.cfm?id=3342085

【 在 helpme (名虚胖字满肥) 的大作中提到: 】
: 算法paper呢?




--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 99.]

 
helpme
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: helpme (名虚胖字满肥), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 08:15:12 2019, 美东)

一作是个哈佛的phd student呀,读博期间换了好几个学校。大概看了看,好像没那么
划时代吧。


【 在 fantasist (一) 的大作中提到: 】
: https://dl.acm.org/citation.cfm?id=3342085



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 67.]

 
ReedToBe
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: ReedToBe (ReedToBe), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 10:59:28 2019, 美东)

咋能说话这么直率?
【 在 helpme (名虚胖字满肥) 的大作中提到: 】
: 一作是个哈佛的phd student呀,读博期间换了好几个学校。大概看了看,好像没那么
: 划时代吧。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: unknown,65.]

 
jiangkyo
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: jiangkyo (roy), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 14:12:44 2019, 美东)

TCP改进没那么难,我以前一个老美同事就自己重写了TCP stack,难的是怎么说服别人
用。

--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:1010:b020:]

 
centralla
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: centralla (central LA), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 14:14:02 2019, 美东)

这种都是傻逼赚眼球的纸上谈兵
按照自己的模型框框在自己嗨

到实际中会死的一塌糊涂
垃圾文章害死人

【 在 fantasist (一) 的大作中提到: 】
: 2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔
: ” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心
: 血之作的全过程。

: 邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻
: 人。同时,他们的另一个身份是阿里巴巴工程师。

: 阿里代表正在SIGCOMM 2019做分享
: 近日,他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题
: 提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2601:648:8800:3]

 
fantasist
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: fantasist (一), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 16:30:14 2019, 美东)

他们如果应用到阿里内部的集群,证明能带来大幅提升,是不是有机会成为国际标准?

【 在 centralla (central LA) 的大作中提到: 】
: 这种都是傻逼赚眼球的纸上谈兵
: 按照自己的模型框框在自己嗨
: 到实际中会死的一塌糊涂
: 垃圾文章害死人




--
☆ 发自 iPhone 买买提 1.24.10
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:1010:b010:]

 
TeacherWei
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 10 ]

发信人: TeacherWei (TW), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 18:04:58 2019, 美东)

改善TCP congestion的研究有很多。很多成果都很快进入Linux Kernel了。

比如1994年的TCP Vegas,还有后来Reno,Tahoe。

用户甚至可以随意切换这些算法的。

给世界做贡献是最容易的。最不缺的是吹NB扯JB蛋的。

【 在 fantasist (一) 的大作中提到: 】
: 他们如果应用到阿里内部的集群,证明能带来大幅提升,是不是有机会成为国际标准?



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 74.]

 
koote
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 11 ]

发信人: koote (koote), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 18:18:47 2019, 美东)

重写和改进是两回事。TCP的RFC(793,5681,6582,3168等)都已经把行为规定的清
清楚楚了,只要有时间有精力,重写一个不是什么特别难的事。
【 在 jiangkyo (roy) 的大作中提到: 】
: TCP改进没那么难,我以前一个老美同事就自己重写了TCP stack,难的是怎么说服别人
: 用。

--
※ 修改:·koote 於 Aug 23 21:20:27 2019 修改本文·[FROM: 38.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 38.]

 
koote
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 12 ]

发信人: koote (koote), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 18:25:31 2019, 美东)

这个改进完全依赖于网络设备的支持,以往的cc,都是把网络看成黑盒,只能通过探测
来确定参数,如果网络设备能及时汇报自己的队列长度,ingress/egress时间戳,那么
发送方拿到这些堪称上帝视角的数据后,怎么调整自己的发送窗口,很显然更高效。但
是正因为需要对网络设备有掌控,所以这个改进针对的场景是在数据中心网络。
【 在 helpme (名虚胖字满肥) 的大作中提到: 】
: 一作是个哈佛的phd student呀,读博期间换了好几个学校。大概看了看,好像没那么
: 划时代吧。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 38.]

 
helpme
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 13 ]

发信人: helpme (名虚胖字满肥), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 20:22:04 2019, 美东)

那这种特殊场景的应用一般是进不了general的协议的,还是要照顾到世界上的绝大多
数才行。


【 在 koote (koote) 的大作中提到: 】
: 这个改进完全依赖于网络设备的支持,以往的cc,都是把网络看成黑盒,只能通过探测
: 来确定参数,如果网络设备能及时汇报自己的队列长度,ingress/egress时间戳,那么
: 发送方拿到这些堪称上帝视角的数据后,怎么调整自己的发送窗口,很显然更高效。但
: 是正因为需要对网络设备有掌控,所以这个改进针对的场景是在数据中心网络。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 67.]

 
koote
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 14 ]

发信人: koote (koote), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Fri Aug 23 21:19:58 2019, 美东)

linux kernel tcp协议栈的congestion control是模块化的,也许未来一些数据中心上
使用的linux发行版如centos会把它实现了,另一个针对数据中心设计的改进,dctcp,
已经在linux中实现了。

【 在 helpme (名虚胖字满肥) 的大作中提到: 】
: 那这种特殊场景的应用一般是进不了general的协议的,还是要照顾到世界上的绝大多
: 数才行。
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 38.]

 
dumbCoder
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 15 ]

发信人: dumbCoder (HumbleCoder 不懂就问-_-), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Sat Aug 24 02:07:27 2019, 美东)

是的, TCP 就不是设计给 上帝视角 用的.
你开了 上帝视角 后, 说可以这样那样给 TCP 优化, 没啥技术含量.



【 在 koote (koote) 的大作中提到: 】
: 这个改进完全依赖于网络设备的支持,以往的cc,都是把网络看成黑盒,只能通过探测
: 来确定参数,如果网络设备能及时汇报自己的队列长度,ingress/egress时间戳,那么
: 发送方拿到这些堪称上帝视角的数据后,怎么调整自己的发送窗口,很显然更高效。但
: 是正因为需要对网络设备有掌控,所以这个改进针对的场景是在数据中心网络。



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2601:641:8000:7]

 
silverhawk
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 16 ]

发信人: silverhawk (silverhawk), 信区: Programming
标  题: Re: 这个改进TCP的研究看起来很厉害
发信站: BBS 未名空间站 (Thu Aug 29 02:08:53 2019, 美东)

首先得搞清楚,TCP本身并不是追求性能绝对的协议,主要是在性能效率和公平之间的
权衡。当年的网络丢包主要是congestion,当然现在可能早就不是,比如在数据中心之
间的,可能是带宽利用刚开始的slow start还不够,所以狗狗家有自己的,另外比如无
线链路上的TCP丢包可能是无线loss造成的,去congestion control并不一定对

但是TCP本质并不是一个你抢占了资源更快就会更好的协议,你抢占了资源导致别人更
慢,这个就不是合适的协议,当然有各种在特定环境比如DC,无线下的一些优化,总的
来说还是特定环境下的,作为internet整个照顾方方面面帕累托最优的,不会也不太敢
大改,很多时候也没有必要,而且其实不同协议之间,真正在intenet尺度,大同小异,
记得linux default就是CUBIC TCP,windows是Reno,但是实际差别可能更多跟其他相关

真有兴趣去看看怎么modeling TCP,可以看看UMass 网络大拿的文章
https://scholar.google.com/citations?user=KIFPVWoAAAAJ&hl=en

第一篇引用超过3000的
Modeling TCP throughput: A simple model and its empirical validation


【 在 fantasist (一) 的大作中提到: 】
: 2008年,当英国数学家Frank Kelly凭借原创性的网络理论拿下运筹优化学的“诺贝尔
: ” -- 冯·诺依曼理论奖,可能并不会想到,11年后,他还将亲自参与“重塑”这一心
: 血之作的全过程。

: 邀请他共建新理论的朋友是一群从读博期间就熟读Frank Kelly著作,受其影响的年轻
: 人。同时,他们的另一个身份是阿里巴巴工程师。

: 阿里代表正在SIGCOMM 2019做分享
: 近日,他们提出了双方合作的研究成果HPCC,对高性能网络的拥塞控制这一世界级难题
: 提出了一种全新的算法,同时在世界顶级的学术会议SIGCOMM 2019上发表,这也标志着
: ...................



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996