如何用消息系统避免分布式事务?

 http://www.cnblogs.com/LBSer/p/4715395.html

  前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。

  上述场景在各个类型的系统中都能找到相似影子,比如在电商系统中,当有用户下单后,除了在订单表插入一条记录外,对应商品表的这个商品数量必须减1吧,怎么保证?!在搜索广告系统中,当用户点击某广告后,除了在点击事件表中增加一条记录外,还得去商家账户表中找到这个商家并扣除广告费吧,怎么保证?!等等,相信大家或多或多少都能碰到相似情景。

  这些问题本质上都可以抽象为:当一个表数据更新后,怎么保证另一个表的数据也必须要更新成功。

1 本地事务

  还是以支付宝转账余额宝为例,假设有

  支付宝账户表:A(id,userId,amount)  

  余额宝账户表:B(id,userId,amount)

  用户的userId=1;

  从支付宝转账1万块钱到余额宝的动作分为两步:

  1)支付宝表扣除1万:update A set amount=amount-10 where userId=1;

  2)余额宝表增加1万:update B set amount=amount+10 where userId=1;

  如何确保支付宝余额宝收支平衡呢?有人说这个很简单嘛,可以用事务解决。

Begin transaction
         update A set amount=amount-10 where userId=1;
         update B set amount=amount+10 where userId=1;
End transaction
commit;

  非常正确!如果你使用spring的话一个注解就能搞定上述事务功能。

@Transactional(rollbackFor=Exception.class)
    public void update() {
        updateATable(); //更新A表
        updateBTable(); //更新B表
    }

  如果系统规模较小,数据表都在一个数据库实例上,上述本地事务方式可以很好地运行,但是如果系统规模较大,比如支付宝账户表和余额宝账户表显然不会在同一个数据库实例上,他们往往分布在不同的物理节点上,这时本地事务已经失去用武之地。

  既然本地事务失效,分布式事务自然就登上舞台。

2 分布式事务—两阶段提交协议

  两阶段提交协议(Two-phase Commit,2PC)经常被用来实现分布式事务。一般分为协调器C和若干事务执行者Si两种角色,这里的事务执行者就是具体的数据库,协调器可以和事务执行器在一台机器上。

如何用消息系统避免分布式事务?

  1) 我们的应用程序(client)发起一个开始请求到TC;

  2) TC先将<prepare>消息写到本地日志,之后向所有的Si发起<prepare>消息。以支付宝转账到余额宝为例,TC给A的prepare消息是通知支付宝数据库相应账目扣款1万,TC给B的prepare消息是通知余额宝数据库相应账目增加1w。为什么在执行任务前需要先写本地日志,主要是为了故障后恢复用,本地日志起到现实生活中凭证 的效果,如果没有本地日志(凭证),容易死无对证;

  3) Si收到<prepare>消息后,执行具体本机事务,但不会进行commit,如果成功返回<yes>,不成功返回<no>。同理,返回前都应把要返回的消息写到日志里,当作凭证。

  4) TC收集所有执行器返回的消息,如果所有执行器都返回yes,那么给所有执行器发生送commit消息,执行器收到commit后执行本地事务的commit操作;如果有任一个执行器返回no,那么给所有执行器发送abort消息,执行器收到abort消息后执行事务abort操作。

  注:TC或Si把发送或接收到的消息先写到日志里,主要是为了故障后恢复用。如某一Si从故障中恢复后,先检查本机的日志,如果已收到<commit >,则提交,如果<abort >则回滚。如果是<yes>,则再向TC询问一下,确定下一步。如果什么都没有,则很可能在<prepare>阶段Si就崩溃了,因此需要回滚。

  现如今实现基于两阶段提交的分布式事务也没那么困难了,如果使用java,那么可以使用开源软件atomikos(http://www.atomikos.com/)来快速实现。

  不过但凡使用过的上述两阶段提交的同学都可以发现性能实在是太差,根本不适合高并发的系统。为什么?

  1)两阶段提交涉及多次节点间的网络通信,通信时间太长!

  2)事务时间相对于变长了,锁定的资源的时间也变长了,造成资源等待时间也增加好多!

  正是由于分布式事务存在很严重的性能问题,大部分高并发服务都在避免使用,往往通过其他途径来解决数据一致性问题。

3 使用消息队列来避免分布式事务

  如果仔细观察生活的话,生活的很多场景已经给了我们提示。

  比如在北京很有名的姚记炒肝点了炒肝并付了钱后,他们并不会直接把你点的炒肝给你,往往是给你一张小票,然后让你拿着小票到出货区排队去取。为什么他们要将付钱和取货两个动作分开呢?原因很多,其中一个很重要的原因是为了使他们接待能力增强(并发量更高)。

  还是回到我们的问题,只要这张小票在,你最终是能拿到炒肝的。同理转账服务也是如此,当支付宝账户扣除1万后,我们只要生成一个凭证(消息)即可,这个凭证(消息)上写着“让余额宝账户增加 1万”,只要这个凭证(消息)能可靠保存,我们最终是可以拿着这个凭证(消息)让余额宝账户增加1万的,即我们能依靠这个凭证(消息)完成最终一致性。

3.1 如何可靠保存凭证(消息)

  有两种方法:

3.1.1 业务与消息耦合的方式

  支付宝在完成扣款的同时,同时记录消息数据,这个消息数据与业务数据保存在同一数据库实例里(消息记录表表名为message);

Begin transaction
         update A set amount=amount-10 where userId=1;
         insert into message(userId, amount,status) values(1, 10, 1);
End transaction
commit;

  上述事务能保证只要支付宝账户里被扣了钱,消息一定能保存下来。

  当上述事务提交成功后,我们通过实时消息服务将此消息通知余额宝,余额宝处理成功后发送成功消息,支付宝收到后删除该条消息数据。

3.1.2 业务与消息解耦方式

  上述保存消息的方式使得消息数据和业务数据紧耦合在一起,从架构上看不够优雅,而且容易诱发其他问题。为了解耦,可以采用以下方式。

  1)支付宝在扣款事务提交之前,向实时消息服务请求发送消息,实时消息服务只记录消息数据,而不真正发送,只有消息发送成功后才会提交事务;

  2)当支付宝扣款事务被提交成功后,向实时消息服务确认发送。只有在得到确认发送指令后,实时消息服务才真正发送该消息;

  3)当支付宝扣款事务提交失败回滚后,向实时消息服务取消发送。在得到取消发送指令后,该消息将不会被发送;

  4)对于那些未确认的消息或者取消的消息,需要有一个消息状态确认系统定时去支付宝系统查询这个消息的状态并进行更新。为什么需要这一步骤,举个例子:假设在第2步支付宝扣款事务被成功提交后,系统挂了,此时消息状态并未被更新为“确认发送”,从而导致消息不能被发送。

  优点:消息数据独立存储,降低业务系统与消息系统间的耦合;

  缺点:一次消息发送需要两次请求;业务处理服务需要实现消息状态回查接口。

3.2 如何解决消息重复投递的问题

  还有一个很严重的问题就是消息重复投递,以我们支付宝转账到余额宝为例,如果相同的消息被重复投递两次,那么我们余额宝账户将会增加2万而不是1万了。

  为什么相同的消息会被重复投递?比如余额宝处理完消息msg后,发送了处理成功的消息给支付宝,正常情况下支付宝应该要删除消息msg,但如果支付宝这时候悲剧的挂了,重启后一看消息msg还在,就会继续发送消息msg。

  解决方法很简单,在余额宝这边增加消息应用状态表(message_apply),通俗来说就是个账本,用于记录消息的消费情况,每次来一个消息,在真正执行之前,先去消息应用状态表中查询一遍,如果找到说明是重复消息,丢弃即可,如果没找到才执行,同时插入到消息应用状态表(同一事务)。

for each msg in queue
  Begin transaction
    select count(*) as cnt from message_apply where msg_id=msg.msg_id;
    if cnt==0 then
      update B set amount=amount+10 where userId=1;
      insert into message_apply(msg_id) values(msg.msg_id);
  End transaction
  commit;

  Ebay的研发人员早在2008年就提出了应用消息状态确认表来解决消息重复投递的问题:http://queue.acm.org/detail.cfm?id=1394128

参考文献

Dan Pritchett,Base: An Acid Alternative,http://queue.acm.org/detail.cfm?id=1394128

程立,大规模SOA系统中的分布式事务处理

mysql两阶段提交,http://blog.csdn.net/jesseyoung/article/details/37970271

 

原创文章,非作者同意,禁止转载!

更多相关文章
  • 几年前,去信高学习交流,居然碰到一好久(莫约八九年光景吧)不见的高中同学,认出她来后,我一下按捺不住,激动的前去跟她相认.结果······等我报上高中班号及各自名号,人家根本懒得搭理,只淡淡的说:"不记得了....生命中总会有一些人要进来,一些人要出去....".说完似乎连基本的 ...
  • pickle #腌制 pickle.dump() #保存数据 pickle.load() #恢复数据 locals() # 返回当前作用域中的变量集合 with语句会自动处理所有已打开文件的关闭工作,类似C#中的using() >>> data=[5,78,3,45,7,1] &g ...
  • 对 Charley Blog 的代码进行版本控制的想法由来已久,在代码建立之初其实已经使用过 TFS 进行控制,只是后期没能好好用起来,加之后来系统环境的变化导致TFS连接丢失,便算是正式放弃了版本控制这个重要的工具.时隔好几个月后,最近一次偶然的机会,在尝试了 Git 工具来维护<uedit ...
  • 据美国Business Insider 5月20日消息,苹果正在测试用于其智能手表iWatc的1.5英寸OLED显示屏. OLED显示屏通常应用于高端电视屏幕和电脑显示器.苹果这款1.5英寸显示器来自一家名为RiTdisplay的公司. 据说富士康正在为苹果生产1块智能手表,数量足以让苹果员工进行测 ...
  • 前一段时间由于项目需要画了一个STM32F103的最小系统板,项目中需要很多硬件资源于是我将PB口作为独立按键输入口,板子打样回来后测试其他一切都还不错但在独立按键测试时出现了问题,测试时采用的是扫描方式,按键支持连续喝不连续两种方式,出现以下问题: 1.单次按键时没有任何反应 2.连续模式下PB3 ...
  • 文 / 谭炎明,本文来源于通信世界(CWWEEKLY)随着移动互联网时代的来临,传统电信运营商正在经历着一场深刻的变革.用户对于电信运营商的需求开始向数据产品和丰富的移动互联网产品转变,与此相对应的,电信运营商的商业模式.核心能力需求.业务流程等都在发生着巨变.正是在这些显性变化的背后,隐藏着电信运 ...
一周排行
  • public class Controller{       List dbiList = new LinkedList();//这是那200多个DBInfo对象的链表.自己想办法添进去.初始化的时候添一次就可以了. ...
  • Dreaming 时间限制(普通/Java) : 1000 MS/ 3000 MS          运行内存限制 : 65536 KByte 总提交 : 96            测试通过 : 13  我们定义一 ...
  • 易网科技讯 6月9日消息,据国外媒体报道,富士通将于本月发售能运行3D游戏和播放3D电影的台式机. 富士通今天发表声明称,新款计算机将于6月17日登陆日本市场,是首批配置内置摄像头的PC之一,用户可以利用它创作3D电 ...
  • 聚类--简介    主要包括如下几方面的内容:常见聚类方法简介: 聚类的方法有如下几种:基于层次的聚类:基于网格的聚类:基于密度的聚类:基于图论的聚类:基于距离的聚类:灰色聚类:模糊等价关系聚类:基于关键词搜索的网页 ...
  • //译题 //★Dual Palindromes 双重回文数 如果一个数从左往右读和从右往左读都是一样,那么这个数就叫做“回文数”.例如,12321 就是一 个回文数,而78 就不是.当然,回文数的首和尾都应是非零的 ...
  • 这个不算网络爬虫,只是简单的抓取360搜索的联想词汇,熟悉python的基本语法使用. 有一点体会很深刻,还是得多看python文档,虽然是全英文的,不可否认,那里有太多的BIF可以直接利用,方便~ 由于python ...
  • 1.python下"No module named sqlsoup"错误: importerror:No module named sqlsoup 问题原因:sqlalchemy版本安装不对,解决 ...
  •     1关闭所有svn服务 nie-xiao-bo-mac-pro:svnproject mac$ killall -9 svnserve 2.开启某文件路径svn服务 nie-xiao-bo-mac-pro:sv ...
  • 如何导入android中的sample例子到eclipse中 http://www.ask3.cn/a/jingcaibowen/yidongkaifa/Android/2011/0811/22051.html 如何 ...
  • 字符串在很多编程语言中已经成为基本数据类型,C语言中我们使用char*来手动申请和维护字符串, 在C++中,可以使用std::string来方便地创建和操作字符串. string是一个模板类,它有basic_stri ...