分布式事務 | 使用DTM 的Saga 模式
分布式事務系列文章
分布式事務 | 使用DTM 的Saga 模式
分布式事務 | 使用 dotnetcore/CAP 的本地消息表模式
分布式事務 | 基于MassTransit的StateMachine實現Saga編排式分布式事務
分布式事務 | 基于MassTransit Courier實現Saga 編排式分布式事務
DTM 簡介
前面章節提及的MassTransit、dotnetcore/CAP都提供了分布式事務的處理能力,但也僅局限于Saga和本地消息表模式的實現。那有沒有一個獨立的分布式事務解決方案,涵蓋多種分布式事務處理模式,如Saga、TCC、XA模式等。有,目前業界主要有兩種開源方案,其一是阿里開源的Seata,另一個就是DTM。其中Seata僅支持Java、Go和Python語言,因此不在.NET 的選擇范圍。DTM則通過提供簡單易用的HTTP和gRPC接口,屏蔽了語言的無關性,因此支持任何開發語言接入,目前提供了Go、Python、NodeJs、Ruby、Java和C#等語言的SDK。
DTM,全稱Distributed Transaction Manager,是一個分布式事務管理器,解決跨數據庫、跨服務、跨語言更新數據的一致性問題。它提供了Saga、TCC、 XA和二階段消息模式以滿足不同應用場景的需求,同時其首創的子事務屏障技術可以有效解決冪等、懸掛和空補償等異常問題。
DTM 事務處理過程及架構
那DTM是如何處理分布式事務的呢?以一個經典的跨行轉賬業務為例來看下事務處理過程。對于跨行轉賬業務而言,很顯然是跨庫跨服務的應用場景,不能簡單通過本地事務解決,可以使用Saga模式,以下是基于DTM提供的Saga事務模式成功轉賬的的時序圖:

從以上時序圖可以看出,DTM整個全局事務分為如下幾步:
- 用戶定義好全局事務所有的事務分支(全局事務的組成部分稱為事務分支),然后提交給DTM,DTM持久化全局事務信息后,立即返回
- DTM取出第一個事務分支,這里是TransOut,調用該服務并成功返回
- DTM取出第二個事務分支,這里是TransIn,調用該服務并成功返回
- DTM已完成所有的事務分支,將全局事務的狀態修改為已完成
基于以上這個時序圖的基礎上,再來看下DTM的架構:

整個DTM架構中,一共有三個角色,分別承擔了不同的職責:
- RM-資源管理器:RM是一個應用服務,通常連接到獨立的數據庫,負責處理全局事務中的本地事務,執行相關數據的修改、提交、回滾、補償等操作。例如在前面的這個Saga事務時序圖中,步驟2、3中被調用的TransIn和TransOut方法所在的服務都是RM。
- AP-應用程序:AP是一個應用服務,負責全局事務的編排,他會注冊全局事務,注冊子事務,調用RM接口。例如在前面的這個SAGA事務中,發起步驟1的是AP,它編排了一個包含TransOut、TransIn的全局事務,然后提交給TM
- TM-事務管理器:TM就是DTM服務,負責全局事務的管理,作為一個獨立的服務而存在。每個全局事務都注冊到TM,每個事務分支也注冊到TM。TM會協調所有的RM來執行不同的事務分支,并根據執行結果決定是否提交或回滾事務。例如在前面的Saga事務時序圖中,TM在步驟2、3中調用了各個RM,在步驟4中,完成這個全局事務。
總體而言,AP-應用程序充當全局事務編排器的角色通過DTM提供的開箱即用的SDK進行全局事務和子事務的注冊。TM-事務管理器接收到注冊的全局事務和子事務后,負責調用RM-資源管理器來執行對應的事務分支,TM-事務管理器根據事務分支的執行結果決定是否提及或回滾事務。
快速上手
百聞不如一見,接下來就來實際上手體驗下如何基于DTM來實際應用Saga進行分布式跨行轉賬事務的處理。
創建示例項目
接下來就來創建一個示例項目:
- 使用
dotnet new webapi -n DtmDemo.Webapi創建示例項目。 - 添加Nuget包:
Dtmcli和Pomelo.EntityFrameworkCore.MySql。 - 添加DTM配置項:
{
"dtm": {
"DtmUrl": "http://localhost:36789",
"DtmTimeout": 10000,
"BranchTimeout": 10000,
"DBType": "mysql",
"BarrierTableName": "dtm_barrier.barrier",
}
}
- 定義銀行賬戶
BankAccount實體類:
namespace DtmDemo.WebApi.Models
{
public class BankAccount
{
public int Id { get; set; }
public decimal Balance { get; set; }
}
}
- 定義
DtmDemoWebApiContext數據庫上下文:
using Microsoft.EntityFrameworkCore;
namespace DtmDemo.WebApi.Data
{
public class DtmDemoWebApiContext : DbContext
{
public DtmDemoWebApiContext (DbContextOptions<DtmDemoWebApiContext> options)
: base(options)
{
}
public DbSet<DtmDemo.WebApi.Models.BankAccount> BankAccount { get; set; } = default!;
}
}
- 注冊DbContext 和DTM服務:
using Microsoft.EntityFrameworkCore;
using DtmDemo.WebApi.Data;
using Dtmcli;
var builder = WebApplication.CreateBuilder(args);
var connectionStr = builder.Configuration.GetConnectionString("DtmDemoWebApiContext");
// 注冊DbContext
builder.Services.AddDbContext<DtmDemoWebApiContext>(options =>
{
options.UseMySql(connectionStr, ServerVersion.AutoDetect(connectionStr));
});
// 注冊DTM
builder.Services.AddDtmcli(builder.Configuration, "dtm");
- 執行
dotnet ef migrations add 'Initial'創建遷移。 - 為便于初始化演示數據,定義
BankAccountController如下,其中PostBankAccount接口添加了await _context.Database.MigrateAsync();用于自動應用遷移。
using Microsoft.AspNetCore.Mvc;
using Microsoft.EntityFrameworkCore;
using DtmDemo.WebApi.Data;
using DtmDemo.WebApi.Models;
using Dtmcli;
namespace DtmDemo.WebApi.Controllers
{
[Route("api/[controller]")]
[ApiController]
public class BankAccountsController : ControllerBase
{
private readonly DtmDemoWebApiContext _context;
public BankAccountsController(DtmDemoWebApiContext context)
{
_context = context;
}
[HttpGet]
public async Task<ActionResult<IEnumerable<BankAccount>>> GetBankAccount()
{
return await _context.BankAccount.ToListAsync();
}
[HttpPost]
public async Task<ActionResult<BankAccount>> PostBankAccount(BankAccount bankAccount)
{
await _context.Database.MigrateAsync();
_context.BankAccount.Add(bankAccount);
await _context.SaveChangesAsync();
return Ok(bankAccount);
}
}
應用Saga模式
接下來定義SagaDemoController來使用DTM的Saga模式來模擬跨行轉賬分布式事務:
using Microsoft.AspNetCore.Mvc;
using Microsoft.EntityFrameworkCore;
using DtmDemo.WebApi.Data;
using DtmDemo.WebApi.Models;
using Dtmcli;
using DtmCommon;
namespace DtmDemo.WebApi.Controllers
{
[Route("api/[controller]")]
[ApiController]
public class SagaDemoController : ControllerBase
{
private readonly DtmDemoWebApiContext _context;
private readonly IConfiguration _configuration;
private readonly IDtmClient _dtmClient;
private readonly IDtmTransFactory _transFactory;
private readonly IBranchBarrierFactory _barrierFactory;
private readonly ILogger<BankAccountsController> _logger;
public SagaDemoController(DtmDemoWebApiContext context, IConfiguration configuration, IDtmClient dtmClient, IDtmTransFactory transFactory, ILogger<BankAccountsController> logger, IBranchBarrierFactory barrierFactory)
{
this._context = context;
this._configuration = configuration;
this._dtmClient = dtmClient;
this._transFactory = transFactory;
this._logger = logger;
this._barrierFactory = barrierFactory;
}
}
對于跨行轉賬業務,使用DTM的Saga模式,首先要進行事務拆分,可以拆分為以下4個子事務,并分別實現:
轉出子事務(TransferOut)
[HttpPost("TransferOut")]
public async Task<IActionResult> TransferOut([FromBody] TransferRequest request)
{
var msg = $"用戶{request.UserId}轉出{request.Amount}元";
_logger.LogInformation($"轉出子事務-啟動:{msg}");
// 1. 創建子事務屏障
var branchBarrier = _barrierFactory.CreateBranchBarrier(Request.Query);
try
{
using (var conn = _context.Database.GetDbConnection())
{
// 2. 在子事務屏障內執行事務操作
await branchBarrier.Call(conn, async (tx) =>
{
_logger.LogInformation($"轉出子事務-執行:{msg}");
await _context.Database.UseTransactionAsync(tx);
var bankAccount = await _context.BankAccount.FindAsync(request.UserId);
if (bankAccount == null || bankAccount.Balance < request.Amount)
throw new InvalidDataException("賬戶不存在或余額不足!");
bankAccount.Balance -= request.Amount;
await _context.SaveChangesAsync();
});
}
}
catch (InvalidDataException ex)
{
_logger.LogInformation($"轉出子事務-失敗:{ex.Message}");
// 3. 按照接口協議,返回409,以表示子事務失敗
return new StatusCodeResult(StatusCodes.Status409Conflict);
}
_logger.LogInformation($"轉出子事務-成功:{msg}");
return Ok();
}
以上代碼中有幾點需要額外注意:
- 使用Saga模式,必須開啟子事務屏障:
_barrierFactory.CreateBranchBarrier(Request.Query),其中Request.Query中的參數由DTM 生成,類似:?branch_id=01&gid=XTzKHgxemLyL8EXtMTLvzK&op=action&trans_type=saga,主要包含四個參數:- gid:全局事務Id
- trans_type:事務類型,是saga、msg、xa或者是tcc。
- branch_id:子事務的Id
- op:當前操作,對于Saga事務模式,要么為action(正向操作),要么為compensate(補償操作)。
- 必須在子事務屏障內執行事務操作:
branchBarrier.Call(conn, async (tx) =>{} - 對于Saga正向操作而言,業務上的失敗與異常是需要做嚴格區分的,例如前面的余額不足,是業務上的失敗,必須回滾。而對于網絡抖動等其他外界原因導致的事務失敗,屬于業務異常,則需要重試。因此若因業務失敗(這里是賬戶不存在或余額不足)而導致子事務失敗,則必須通過拋異常的方式并返回
**409**狀態碼以告知DTM 子事務失敗。 - 以上通過拋出異常的方式中斷子事務執行并在外圍捕獲特定異常返回
409狀態碼。在外圍捕獲異常時切忌放大異常捕獲,比如直接catch(Exception),如此會捕獲由于網絡等其他原因導致的異常,而導致DTM 不再自動處理該異常,比如業務異常時的自動重試。
轉出補償子事務(TransferOut_Compensate)
轉出補償,就是回滾轉出操作,進行賬戶余額歸還,實現如下:
[HttpPost("TransferOut_Compensate")]
public async Task<IActionResult> TransferOut_Compensate([FromBody] TransferRequest request)
{
var msg = $"用戶{request.UserId}回滾轉出{request.Amount}元";
_logger.LogInformation($"轉出補償子事務-啟動:{msg}");
// 1. 創建子事務屏障
var branchBarrier = _barrierFactory.CreateBranchBarrier(Request.Query);
using (var conn = _context.Database.GetDbConnection())
{
// 在子事務屏障內執行事務操作
await branchBarrier.Call(conn, async (tx) =>
{
_logger.LogInformation($"轉出補償子事務-執行:{msg}");
await _context.Database.UseTransactionAsync(tx);
var bankAccount = await _context.BankAccount.FindAsync(request.UserId);
if (bankAccount == null)
return; //對于補償操作,可直接返回,中斷后續操作
bankAccount.Balance += request.Amount;
await _context.SaveChangesAsync();
});
}
_logger.LogInformation($"轉出補償子事務-成功!");
// 2. 因補償操作必須成功,所以必須返回200。
return Ok();
}
由于DTM設計為總是執行補償,也就是說即使正向操作子事務失敗時,DTM 仍舊會執行補償邏輯。但子事務屏障會在執行時判斷正向操作的執行狀態,當子事務失敗時,并不會執行補償邏輯。
另外DTM的補償操作,是要求最終成功的,只要還沒成功,就會不斷進行重試,直到成功。因此在補償子事務中,即使補償子事務中出現業務失敗時,也必須返回**200**。因此當出現bankAccount==null時可以直接 return。
轉入子事務(TransferIn)
轉入子事務和轉出子事務的實現基本類似,都是開啟子事務屏障后,在branchBarrier.Call(conn, async tx => {}中實現事務邏輯,并通過拋異常的方式并最終返回409狀態碼來顯式告知DTM 子事務執行失敗。
[HttpPost("TransferIn")]
public async Task<IActionResult> TransferIn([FromBody] TransferRequest request)
{
var msg = $"用戶{request.UserId}轉入{request.Amount}元";
_logger.LogInformation($"轉入子事務-啟動:{msg}");
var branchBarrier = _barrierFactory.CreateBranchBarrier(Request.Query);
try
{
using (var conn = _context.Database.GetDbConnection())
{
await branchBarrier.Call(conn, async (tx) =>
{
_logger.LogInformation($"轉入子事務-執行:{msg}");
await _context.Database.UseTransactionAsync(tx);
var bankAccount = await _context.BankAccount.FindAsync(request.UserId);
if (bankAccount == null)
throw new InvalidDataException("賬戶不存在!");
bankAccount.Balance += request.Amount;
await _context.SaveChangesAsync();
});
}
}
catch (InvalidDataException ex)
{
_logger.LogInformation($"轉入子事務-失敗:{ex.Message}");
return new StatusCodeResult(StatusCodes.Status409Conflict);
}
_logger.LogInformation($"轉入子事務-成功:{msg}");
return Ok();
}
轉入補償子事務(TransferIn_Compensate)
轉入補償子事務和轉出補償子事務的實現也基本類似,都是開啟子事務屏障后,在branchBarrier.Call(conn, async tx => {}中實現事務邏輯,并最終返回200狀態碼來告知DTM 補償子事務執行成功。
[HttpPost("TransferIn_Compensate")]
public async Task<IActionResult> TransferIn_Compensate([FromBody] TransferRequest request)
{
var msg = "用戶{request.UserId}回滾轉入{request.Amount}元";
_logger.LogInformation($"轉入補償子事務-啟動:{msg}");
var branchBarrier = _barrierFactory.CreateBranchBarrier(Request.Query);
using (var conn = _context.Database.GetDbConnection())
{
await branchBarrier.Call(conn, async (tx) =>
{
_logger.LogInformation($"轉入補償子事務-執行:{msg}");
await _context.Database.UseTransactionAsync(tx);
var bankAccount = await _context.BankAccount.FindAsync(request.UserId);
if (bankAccount == null) return;
bankAccount.Balance -= request.Amount;
await _context.SaveChangesAsync();
});
}
_logger.LogInformation($"轉入補償子事務-成功!");
return Ok();
}
編排Saga事務
拆分完子事務,最后就可以進行Saga事務編排了,其代碼如下所示:
[HttpPost("Transfer")]
public async Task<IActionResult> Transfer(int fromUserId, int toUserId, decimal amount,
CancellationToken cancellationToken)
{
try
{
_logger.LogInformation($"轉賬事務-啟動:用戶{fromUserId}轉賬{amount}元到用戶{toUserId}");
//1. 生成全局事務ID
var gid = await _dtmClient.GenGid(cancellationToken);
var bizUrl = _configuration.GetValue<string>("TransferBaseURL");
//2. 創建Saga
var saga = _transFactory.NewSaga(gid);
//3. 添加子事務
saga.Add(bizUrl + "/TransferOut", bizUrl + "/TransferOut_Compensate",
new TransferRequest(fromUserId, amount))
.Add(bizUrl + "/TransferIn", bizUrl + "/TransferIn_Compensate",
new TransferRequest(toUserId, amount))
.EnableWaitResult(); // 4. 按需啟用是否等待事務執行結果
//5. 提交Saga事務
await saga.Submit(cancellationToken);
}
catch (DtmException ex) // 6. 如果開啟了`EnableWaitResult()`,則可通過捕獲異常的方式,捕獲事務失敗的結果。
{
_logger.LogError($"轉賬事務-失敗:用戶{fromUserId}轉賬{amount}元到用戶{toUserId}失敗!");
return new BadRequestObjectResult($"轉賬失敗:{ex.Message}");
}
_logger.LogError($"轉賬事務-完成:用戶{fromUserId}轉賬{amount}元到用戶{toUserId}成功!");
return Ok($"轉賬事務-完成:用戶{fromUserId}轉賬{amount}元到用戶{toUserId}成功!");
}
主要步驟如下:
- 生成全局事務Id:
var gid =await _dtmClient.GenGid(cancellationToken); - 創建Saga全局事務:
_transFactory.NewSaga(gid); - 添加子事務:
saga.Add(string action, string compensate, object postData);包含正向和反向子事務。 - 如果依賴事務執行結果,可通過
EnableWaitResult()開啟事務結果等待。 - 提交Saga全局事務:
saga.Submit(cancellationToken); - 若開啟了事務結果等待,可以通過
try...catch..來捕獲DtmExcepiton異常來獲取事務執行異常信息。
運行項目
既然DTM作為一個獨立的服務存在,其負責通過HTTP或gRPC協議發起子事務的調用,因此首先需要啟動一個DTM實例,又由于本項目依賴MySQL,因此我們采用Docker Compose的方式來啟動項目。在Visual Studio中通過右鍵項目->Add->Docker Support->Linux 即可添加Dockerfile如下所示:
FROM mcr.microsoft.com/dotnet/aspnet:6.0 AS base
WORKDIR /app
EXPOSE 80
EXPOSE 443
FROM mcr.microsoft.com/dotnet/sdk:6.0 AS build
WORKDIR /src
COPY ["DtmDemo.WebApi/DtmDemo.WebApi.csproj", "DtmDemo.WebApi/"]
RUN dotnet restore "DtmDemo.WebApi/DtmDemo.WebApi.csproj"
COPY . .
WORKDIR "/src/DtmDemo.WebApi"
RUN dotnet build "DtmDemo.WebApi.csproj" -c Release -o /app/build
FROM build AS publish
RUN dotnet publish "DtmDemo.WebApi.csproj" -c Release -o /app/publish
FROM base AS final
WORKDIR /app
COPY --from=publish /app/publish .
ENTRYPOINT ["dotnet", "DtmDemo.WebApi.dll"]
在Visual Studio中通過右鍵項目->Add Container Orchestrator Support->Docker Compose即可添加docker-compose.yml,由于整個項目依賴mysql和DTM,修改docker-compose.yml如下所示,其中定義了三個服務:db,dtm和dtmdemo.webapi。
version: '3.4'
services:
db:
image: 'mysql:5.7'
container_name: dtm-mysql
environment:
MYSQL_ROOT_PASSWORD: 123456 # 指定MySQL初始密碼
volumes:
- ./docker/mysql/scripts:/docker-entrypoint-initdb.d # 掛載用于初始化數據庫的腳本
ports:
- '3306:3306'
dtm:
depends_on: ["db"]
image: 'yedf/dtm:latest'
container_name: dtm-svc
environment:
IS_DOCKER: '1'
STORE_DRIVER: mysql # 指定使用MySQL持久化DTM事務數據
STORE_HOST: db # 指定MySQL服務名,這里是db
STORE_USER: root
STORE_PASSWORD: '123456'
STORE_PORT: 3306
STORE_DB: "dtm" # 指定DTM 數據庫名
ports:
- '36789:36789' # DTM HTTP 端口
- '36790:36790' # DTM gRPC 端口
dtmdemo.webapi:
depends_on: ["dtm", "db"]
image: ${DOCKER_REGISTRY-}dtmdemowebapi
environment:
ASPNETCORE_ENVIRONMENT: docker # 設定啟動環境為docker
container_name: dtm-webapi-demo
build:
context: .
dockerfile: DtmDemo.WebApi/Dockerfile
ports:
- '31293:80' # 映射Demo:80端口到本地31293端口
- '31294:443' # 映射Demo:443端口到本地31294端口
其中dtmdemo.webapi服務通過ASPNETCORE_ENVIRONMENT: docker 指定啟動環境為docker,因此需要在項目下添加appsettings.docker.json以配置應用參數:
{
"ConnectionStrings": {
"DtmDemoWebApiContext": "Server=db;port=3306;database=dtm_barrier;user id=root;password=123456;AllowLoadLocalInfile=true"
},
"TransferBaseURL": "http://dtmdemo.webapi/api/SagaDemo",
"dtm": {
"DtmUrl": "http://dtm:36789",
"DtmTimeout": 10000,
"BranchTimeout": 10000,
"DBType": "mysql",
"BarrierTableName": "dtm_barrier.barrier"
}
}
另外db服務中通過volumes: ["./docker/mysql/scripts:/docker-entrypoint-initdb.d"]來掛載初始化腳本,以創建DTM依賴的MySQL 存儲數據庫dtm和示例項目使用子事務屏障需要的barrier數據表。腳本如下:
CREATE DATABASE IF NOT EXISTS dtm
/*!40100 DEFAULT CHARACTER SET utf8mb4 */
;
drop table IF EXISTS dtm.trans_global;
CREATE TABLE if not EXISTS dtm.trans_global (
`id` bigint(22) NOT NULL AUTO_INCREMENT,
`gid` varchar(128) NOT NULL COMMENT 'global transaction id',
`trans_type` varchar(45) not null COMMENT 'transaction type: saga | xa | tcc | msg',
`status` varchar(12) NOT NULL COMMENT 'tranaction status: prepared | submitted | aborting | finished | rollbacked',
`query_prepared` varchar(1024) NOT NULL COMMENT 'url to check for msg|workflow',
`protocol` varchar(45) not null comment 'protocol: http | grpc | json-rpc',
`create_time` datetime DEFAULT NULL,
`update_time` datetime DEFAULT NULL,
`finish_time` datetime DEFAULT NULL,
`rollback_time` datetime DEFAULT NULL,
`options` varchar(1024) DEFAULT 'options for transaction like: TimeoutToFail, RequestTimeout',
`custom_data` varchar(1024) DEFAULT '' COMMENT 'custom data for transaction',
`next_cron_interval` int(11) default null comment 'next cron interval. for use of cron job',
`next_cron_time` datetime default null comment 'next time to process this trans. for use of cron job',
`owner` varchar(128) not null default '' comment 'who is locking this trans',
`ext_data` TEXT comment 'result for this trans. currently used in workflow pattern',
`result` varchar(1024) DEFAULT '' COMMENT 'rollback reason for transaction',
`rollback_reason` varchar(1024) DEFAULT '' COMMENT 'rollback reason for transaction',
PRIMARY KEY (`id`),
UNIQUE KEY `gid` (`gid`),
key `owner`(`owner`),
key `status_next_cron_time` (`status`, `next_cron_time`) comment 'cron job will use this index to query trans'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
drop table IF EXISTS dtm.trans_branch_op;
CREATE TABLE IF NOT EXISTS dtm.trans_branch_op (
`id` bigint(22) NOT NULL AUTO_INCREMENT,
`gid` varchar(128) NOT NULL COMMENT 'global transaction id',
`url` varchar(1024) NOT NULL COMMENT 'the url of this op',
`data` TEXT COMMENT 'request body, depreceated',
`bin_data` BLOB COMMENT 'request body',
`branch_id` VARCHAR(128) NOT NULL COMMENT 'transaction branch ID',
`op` varchar(45) NOT NULL COMMENT 'transaction operation type like: action | compensate | try | confirm | cancel',
`status` varchar(45) NOT NULL COMMENT 'transaction op status: prepared | succeed | failed',
`finish_time` datetime DEFAULT NULL,
`rollback_time` datetime DEFAULT NULL,
`create_time` datetime DEFAULT NULL,
`update_time` datetime DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `gid_uniq` (`gid`, `branch_id`, `op`)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
drop table IF EXISTS dtm.kv;
CREATE TABLE IF NOT EXISTS dtm.kv (
`id` bigint(22) NOT NULL AUTO_INCREMENT,
`cat` varchar(45) NOT NULL COMMENT 'the category of this data',
`k` varchar(128) NOT NULL,
`v` TEXT,
`version` bigint(22) default 1 COMMENT 'version of the value',
create_time datetime default NULL,
update_time datetime DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE key `uniq_k`(`cat`, `k`)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
create database if not exists dtm_barrier
/*!40100 DEFAULT CHARACTER SET utf8mb4 */
;
drop table if exists dtm_barrier.barrier;
create table if not exists dtm_barrier.barrier(
id bigint(22) PRIMARY KEY AUTO_INCREMENT,
trans_type varchar(45) default '',
gid varchar(128) default '',
branch_id varchar(128) default '',
op varchar(45) default '',
barrier_id varchar(45) default '',
reason varchar(45) default '' comment 'the branch type who insert this record',
create_time datetime DEFAULT now(),
update_time datetime DEFAULT now(),
key(create_time),
key(update_time),
UNIQUE key(gid, branch_id, op, barrier_id)
);
準備完畢,即可通過點擊Visual Studio工具欄的Docker Compose的啟動按鈕,啟動后可以在Containers窗口看到啟動了dtm-mysql、dtm-svc和dtm-webapi-demo三個容器,并在瀏覽器中打開了 http://localhost:31293/swagger/index.html Swagger 網頁。該種方式啟動項目是支持斷點調試項目,如下圖所示:

通過BankAccouts控制器的POST接口,初始化用戶1和用戶2各100元。再通過SagaDemo控制器的/api/Transfer接口,進行Saga事務測試。
- 用戶1轉賬10元到用戶2
由于用戶1和用戶2已存在,且用戶1余額足夠, 因此該筆轉賬合法因此會成功,其執行路徑為:轉出(成功)->轉入(成功)-> 事務完成,執行日志如下圖所示:

- 用戶3轉賬10元到用戶1
由于用戶3不存在,因此執行路徑為:轉出(失敗)->轉出補償(成功)->事務完成。從下圖的執行日志可以看出,轉出子事務失敗,還是會調用對應的轉出補償操作,但子事務屏障會過進行過濾,因此實際上并不會執行真正的轉出補償邏輯,其中紅線框住的部分就是證明。

- 用戶1轉賬10元到用戶3
由于用戶3不存在,因此執行路徑為:轉出(成功)->轉入(失敗)->轉入補償(成功)->轉出補償(成功)->事務完成。從下圖的執行日志可以看出,轉入子事務失敗,還是會調用對應的轉入補償操作,但子事務屏障會過進行過濾,因此實際上并不會執行真正的轉入補償邏輯,其中紅線框住的部分就是證明。

子事務屏障
在以上的示例中,重復提及子事務屏障,那子事務屏障具體是什么,這里有必要重點說明下。以上面用戶1轉賬10元到用戶3為例,整個事務流轉過程中,即轉出(成功)->轉入(失敗)->轉入補償(成功)->轉出補償(成功)->事務完成。
在提交事務之后,首先是全局事務的落庫,主要由DTM 服務負責,主要包括兩張表:trans_global和trans_branch_op,DTM 依此進行子事務分支的協調。其中trans_global會插入一條全局事務記錄,用于記錄全局事務的狀態信息,如下圖1所示。trans_branch_op表為trans_global的子表,記錄四條子事務分支數據,如下圖2所示:


具體的服務再接收到來自Dtm的子事務分支調用時,每次都會往子事務屏障表barrier中插入一條數據,如下圖所示。業務服務就是依賴此表來完成子事務的控制。

而子事務屏障的核心就是子事務屏障表唯一鍵的設計,以gid、branch_id、op和barrier_id為唯一索引,利用唯一索引,“以改代查”來避免競態條件。在跨行轉賬的Saga示例中,子事務分支的執行步驟如下所示:
- 開啟本地事務
- 對于當前操作op(action|compensate),使用
inster ignore into barrier(trans_type, gid, branch_id, op, barrier_id, reason)向子事務屏障表插入一條數據,有幾種情況:- 插入成功且影響條數大于0,則繼續向下執行。
- 插入成功但影響條數等于0,說明觸發唯一鍵約束,此時會進行空補償、懸掛和重復請求判斷,若是則直接返回,跳過后續子事務分支邏輯的執行。
- 第2步插入成功,則可以繼續執行子事務分支邏輯,執行業務數據表操作,結果分兩種請求
- 子事務成功,子事務屏障表操作和業務數據表操作由于共享同一個本地事務,提交本地事務,因此可實現強一致性,當前子事務分支完成。
- 子事務失敗,回滾本地事務
每個子事務分支通過以上步驟,即可實現下圖的效果:

小結
本文主要介紹了DTM的Saga模式的應用,基于DTM 首創的子事務屏障技術,使得開發者基于DTM 提供的SDK能夠輕松開發出更可靠的分布式應用,徹底將開發人員從網絡異常的處理中解放出來,再也不用擔心空補償、防懸掛、冪等等分布式問題。如果要進行分布式事務框架的選型,DTM 將是不二之選。
推薦鏈接:你必須知道的ML.NET開發指南
推薦鏈接:你必須知道的Office開發指南
推薦鏈接:你必須知道的IOT開發指南
推薦鏈接:你必須知道的Azure基礎知識
推薦鏈接:你必須知道的PowerBI基礎知識
關注我的公眾號『微服務知多少』,我們微信不見不散。
閱罷此文,如果您覺得本文不錯并有所收獲,請【打賞】或【推薦】,也可【評論】留下您的問題或建議與我交流。 你的支持是我不斷創作和分享的不竭動力!

浙公網安備 33010602011771號