当前在线人数14107
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 - 同主题阅读文章

此篇文章共收到打赏
0

  • 10
  • 20
  • 50
  • 100
您目前伪币余额:0
未名交友
[更多]
[更多]
如何在两个数据中心实现数据的consistency?
[版面:葵花宝典][首篇作者:GAGAMA] , 2021年09月26日15:34:23 ,723次阅读,11次回复
来APP回复,赚取更多伪币 关注本站公众号:
[分页:1 ]
GAGAMA
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 1 ]

发信人: GAGAMA (GAGA), 信区: Programming
标  题: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 15:34:23 2021, 美东)

比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。
现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
consistency?

我听说google好像有个叫spanner的产品,保证global available and consistent,但
是SQL based.如果是no SQL,比如HBase,怎么实现?
--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
iDemocracy
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 2 ]

发信人: iDemocracy (DEMO), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 16:16:31 2021, 美东)

加个lock,加个audit,distributed database的教科书里有几种方案,思路跟是否SQL
没有关系。
--
非公民键盘侠就是在任何国家都没有投票权的人。
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 3.]

 
lestrois2000
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 3 ]

发信人: lestrois2000 (lestrois2000), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 17:00:24 2021, 美东)

https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/
dmlClientRequestsWrite.html
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 72.]

 
GAGAMA
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 4 ]

发信人: GAGAMA (GAGA), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 17:14:36 2021, 美东)

谢谢

假设我们解决了lock本身的sync up的问题,但是这一个lock,一个audit下来,速度就
慢了很多。




【 在 iDemocracy(DEMO) 的大作中提到: 】
<br>: 加个lock,加个audit,distributed database的教科书里有几种方案,思路跟
是否SQL
<br>: 没有关系。
<br>
--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
GAGAMA
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 5 ]

发信人: GAGAMA (GAGA), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 17:15:30 2021, 美东)

让我了解一下,谢谢

十个字


【 在 lestrois2000(lestrois2000) 的大作中提到: 】
<br>: https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/
<br>: dmlClientRequestsWrite.html
<br>
--
※ 来源:· 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 73.]

 
Waypin
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 6 ]

发信人: Waypin (Waypin), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 20:19:15 2021, 美东)

HBase supports replication out of the box
https://blog.cloudera.com/apache-hbase-replication-overview/

http://people.apache.org/~stsack/site/replication.html
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
Waypin
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 7 ]

发信人: Waypin (Waypin), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 20:21:43 2021, 美东)

Oracle GoldenGate for SQL replication
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 68.]

 
netghost
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 8 ]

发信人: netghost (Up to Isomorphism), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Sun Sep 26 20:26:15 2021, 美东)

嚴格按照CAP的strong consistency,搞出來的產品一定會慢成渣。

大部分生產環境都不需要真正的consistency,所以都會做一定的trade off,怎麼
trade就是art,open source沒有完全好用的。
【 在 GAGAMA (GAGA) 的大作中提到: 】
: 比如美国,欧洲两个数据中心有各自的数据库,其中有些数据在两个数据库里都存在。
: 现在两端同时,或几乎同时,写操作同一条数据。这种情况下如何保证数据的
: consistency?
: 我听说google好像有个叫spanner的产品,保证global available and consistent,但
: 是SQL based.如果是no SQL,比如HBase,怎么实现?



--

※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
heteroclinic
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 9 ]

发信人: heteroclinic (asymptotically stable), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Mon Sep 27 01:00:56 2021, 美东)

书二十年前的微软数据库认证就讲
数据库不C,从log file 来找,
这是什么,就是一种最简单的冗余

好的系统,涉及钱的,一般都有夜审,周审,月审,年结
--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2600:8802:6705:]

 
fantasist
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 10 ]

发信人: fantasist (一), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Mon Sep 27 01:45:31 2021, 美东)

据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
这玩意儿相当先进,目测业界现在都没抄出来。
说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突
然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
远了,只是自动elect leader,不支持多个replica同时写入。
没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个DC
都不容易实现。

--
※ 修改:·fantasist 於 Sep 27 01:46:36 2021 修改本文·[FROM: 162.]
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 162.]

 
netghost
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 11 ]

发信人: netghost (Up to Isomorphism), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Mon Sep 27 11:00:44 2021, 美东)

spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
一個程度了。

當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是
不能拿出來說的。
【 在 fantasist (一) 的大作中提到: 】
: 据我看过的公开资料,Spanner的基础protocol是paxos,还加上GPS时钟之类的硬件。
: 这玩意儿相当先进,目测业界现在都没抄出来。
: 说起HBase,我们以前给它写了一个基于Raft protocol的自治模式,快做完的时候组突
: 然被砍了,当时开源社区很失望,我们也没办法。不过这个就算做出来也比Spanner差
: 远了,只是自动elect leader,不支持多个replica同时写入。
: 没有相关技术背景建议不要考虑同时往replica写,即使几个region server在同一个
DC
: 都不容易实现。



--

※ 修改:·netghost 于 Sep 27 16:02:00 2021 修改本文·[FROM: 71.]
※ 来源:·BBS 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 71.]

 
iDemocracy
进入未名形象秀
我的博客
[回复] [回信给作者] [本篇全文] [本讨论区] [修改] [删除] [转寄] [转贴] [收藏] [举报] [ 12 ]

发信人: iDemocracy (DEMO), 信区: Programming
标  题: Re: 如何在两个数据中心实现数据的consistency?
发信站: BBS 未名空间站 (Mon Sep 27 17:24:43 2021, 美东)

那不是CS,CS是发明编译器以及编程方法论,具体的编程工作不是CS而是engineering
,就像造车和开车完全是不同的技能。有些程序员岗位不需要高考分数,高中生都能做
,也有的例如科研仿真程序只能找高学历的来写,主要看业务内容了。

【 在 netghost (Up to Isomorphism) 的大作中提到: 】
: spanner那東西是搞笑的,這東西居然能混出一堆的引用,說明現在的CS行業已經爛到
: 一個程度了。
: 當然Google搞這件事不是不厲害,但是有用的東西別人一個字沒講,這種東西好用的是
: 不能拿出來說的。
--
非公民键盘侠就是在任何国家都没有投票权的人。
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 3.]

[分页:1 ]
[快速返回] [ 进入葵花宝典讨论区] [返回顶部]
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996