SQL Server 2022新功能：將數(shù)據(jù)庫備份到S3兼容的對象存儲

本文介紹將S3兼容的對象存儲用作數(shù)據(jù)庫備份目標(biāo)所需的概念、要求和組件。 數(shù)據(jù)庫備份和恢復(fù)功能在概念上類似于使用SQL Server備份到Azure Blob存儲的URL作為備份設(shè)備類型。

要注意的是，不只是Amazon S3對象存儲，實(shí)際上可以備份到任何兼容S3協(xié)議的對象存儲。

對象存儲集成功能

SQL Server 2022（16.x）引入了對象存儲集成功能，使您可以將SQL Server與S3兼容的對象存儲集成。為了提供這種集成，SQL Server使用一個(gè)S3連接器，它使用S3 REST API連接到任何S3兼容的對象存儲提供商。SQL Server 2022（16.x）通過增加對使用REST API的新S3連接器的支持，擴(kuò)展了現(xiàn)有的BACKUP TO /RESTORE FROM URL命令的語法。

• 指向S3兼容資源的URL以s3://為前綴，表示正在使用S3連接器。以s3://開頭的URL始終假定底層傳輸協(xié)議為https。

• 文件編號和文件大小限制 為了存儲數(shù)據(jù)，S3兼容對象存儲提供商必須將文件分割成多個(gè)稱為“Block”的塊，這類似于微軟Azure Blob存儲中的塊Blob。

S3端點(diǎn)的前提條件

S3端點(diǎn)必須按以下方式配置：

• 1、必須配置TLS。假定所有連接將通過HTTPS而非HTTP進(jìn)行安全傳輸。端點(diǎn)通過安裝在SQL Server所在操作系統(tǒng)主機(jī)上的證書進(jìn)行驗(yàn)證。

• 2、在S3兼容的對象存儲中創(chuàng)建憑據(jù)，具有執(zhí)行該操作所需的適當(dāng)權(quán)限。在存儲層上創(chuàng)建的用戶和密碼被稱為訪問密鑰ID（Access Key ID）和秘密密鑰ID（Secret Key ID）。我們需要這兩個(gè)密鑰才能對S3端點(diǎn)進(jìn)行身份驗(yàn)證。

• 3、至少配置了一個(gè)存儲桶bucket。

Linux平臺支持

SQL Server使用 WinHttp 實(shí)現(xiàn)其所使用的HTTP REST API客戶端。它依賴Windows平臺的證書存儲來驗(yàn)證由HTTP(S)端點(diǎn)提供的TLS證書。然而，在Linux平臺上運(yùn)行的SQL Server的CA證書必須放置在一個(gè)預(yù)定義的位置，即/var/opt/mssql/security/ca-certificates 文件夾中，且該文件夾最多只能存儲和支持前50個(gè)證書。在啟動SQL Server進(jìn)程之前，必須將CA證書放置在該位置。SQL Server在啟動時(shí)從該文件夾讀取證書，并將它們添加到信任存儲中。

示例

• 創(chuàng)建憑據(jù)

憑據(jù)的名稱盡量使用存儲路徑，以更好的進(jìn)行區(qū)分，并且根據(jù)存儲平臺的不同有多個(gè)標(biāo)準(zhǔn)。

當(dāng)使用S3連接器時(shí)，IDENTITY參數(shù)應(yīng)始終為 'S3 Access Key'。 Access Key ID和Secret Key ID中不得包含冒號。 Access Key ID和Secret Key ID相當(dāng)于在S3兼容的對象存儲上的用戶名和密碼，用來識別單一用戶。 Access Key ID 必須具有適當(dāng)?shù)臋?quán)限來訪問S3兼容的對象存儲中的數(shù)據(jù)。 使用CREATE CREDENTIAL命令創(chuàng)建服務(wù)器級別憑據(jù)以進(jìn)行與S3兼容的對象存儲端點(diǎn)的身份驗(yàn)證。

AWS S3 支持兩種不同的 URL 形式。

S3://<BUCKET_NAME>.S3.<REGION>.AMAZONAWS.COM/<FOLDER>（默認(rèn)）
S3://S3.<REGION>.AMAZONAWS.COM/<BUCKET_NAME>/<FOLDER>

示例代碼如下:

USE [master];
GO
CREATE CREDENTIAL [s3://<endpoint>:<port>/<bucket>]
WITH
        IDENTITY    = 'S3 Access Key',
        SECRET      = '<AccessKeyID>:<SecretKeyID>';
GO

BACKUP DATABASE [SQLTestDB]
TO      URL = 's3://<endpoint>:<port>/<bucket>/SQLTestDB.bak'
WITH    FORMAT ,STATS = 10, COMPRESSION;

有多種方法可以為AWS云上的S3對象存儲創(chuàng)建憑據(jù)。

• S3 存儲桶名稱：datavirtualizationsample
• S3 存儲桶區(qū)域：us-west-2
• S3 存儲桶中放備份文件的文件夾：backup

CREATE CREDENTIAL [s3://datavirtualizationsample.s3.us-west-2.amazonaws.com/backup]
WITH    
        IDENTITY    = 'S3 Access Key'
,       SECRET      = 'accesskey:secretkey';
GO

BACKUP DATABASE [AdventureWorks2022]
TO URL  = 's3://datavirtualizationsample.s3.us-west-2.amazonaws.com/backup/AdventureWorks2022.bak'
WITH COMPRESSION, FORMAT, MAXTRANSFERSIZE = 20971520;
GO
--或者
CREATE CREDENTIAL [s3://s3.us-west-2.amazonaws.com/datavirtualizationsample/backup]
WITH    
        IDENTITY    = 'S3 Access Key'
,       SECRET      = 'accesskey:secretkey';
GO

BACKUP DATABASE [AdventureWorks2022]
TO URL  = 's3://s3.us-west-2.amazonaws.com/datavirtualizationsample/backup/AdventureWorks2022.bak'
WITH COMPRESSION, FORMAT, MAXTRANSFERSIZE = 20971520;
GO

備份到 URL和從 URL 恢復(fù)

備份到 URL

--以下示例將執(zhí)行完整備份文件進(jìn)行分割，然后備份到對象存儲端點(diǎn)：
BACKUP DATABASE <db_name>
TO      URL = 's3://<endpoint>:<port>/<bucket>/<database>_01.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_02.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_03.bak'
WITH    FORMAT ,STATS = 10, COMPRESSION;

從 URL 恢復(fù)

--以下示例將從對象存儲端點(diǎn)位置執(zhí)行備份恢復(fù)：
RESTORE DATABASE <db_name>
FROM    URL = 's3://<endpoint>:<port>/<bucket>/<database>_01.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_02.bak'
,       URL = 's3://<endpoint>:<port>/<bucket>/<database>_03.bak'
WITH    REPLACE ,  STATS  = 10;

加密和壓縮備份選項(xiàng)

以下示例展示如何使用加密和壓縮來備份和恢復(fù) AdventureWorks2022 數(shù)據(jù)庫：

CREATE MASTER KEY ENCRYPTION BY PASSWORD = <password>;
GO

CREATE CERTIFICATE AdventureWorks2022Cert
    WITH SUBJECT = 'AdventureWorks2022 Backup Certificate';
GO
-- 備份數(shù)據(jù)庫
BACKUP DATABASE AdventureWorks2022
TO URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022_Encrypt.bak'
WITH FORMAT, COMPRESSION,
ENCRYPTION (ALGORITHM = AES_256, SERVER CERTIFICATE = AdventureWorks2022Cert)
GO

-- 恢復(fù)數(shù)據(jù)庫
RESTORE DATABASE AdventureWorks2022
FROM URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022_Encrypt.bak'
WITH REPLACE

使用區(qū)域參數(shù)進(jìn)行備份和恢復(fù)

以下示例展示如何使用REGION_OPTIONS選項(xiàng)進(jìn)行備份和恢復(fù) AdventureWorks2022 數(shù)據(jù)庫：

您可以在每個(gè)BACKUP / RESTORE命令中添加區(qū)域參數(shù)。 請注意，在BACKUP_OPTIONS和RESTORE_OPTIONS中使用了S3存儲特定的區(qū)域字符串， 例如 '{"s3": {"region":"us-west-2"}}'。默認(rèn)區(qū)域是 us-east-1。

-- 備份數(shù)據(jù)庫
BACKUP DATABASE AdventureWorks2022
TO URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022.bak'
WITH BACKUP_OPTIONS = '{"s3": {"region":"us-west-2"}}'

-- 恢復(fù)數(shù)據(jù)庫
RESTORE DATABASE AdventureWorks2022
FROM URL = 's3://<endpoint>:<port>/<bucket>/AdventureWorks2022.bak'
WITH  RESTORE_OPTIONS = '{"s3": {"region":"us-west-2"}}'

SQL Server 2008的壓縮備份是一個(gè)新特性，根據(jù)實(shí)際使用中的觀察，壓縮比至少在1:5左右，也就是備份時(shí)增加了壓縮選項(xiàng)（COMPRESSION）后可以至少壓縮到數(shù)據(jù)文件大小的20%甚至更低，
可以很大程度上加快備份執(zhí)行時(shí)間，減輕IO壓力和節(jié)省備份服務(wù)器的磁盤存儲空間。

-- 備份數(shù)據(jù)庫
BACKUP DATABASE SQLTestDB TO DISK = 'c:\tmp\SQLTestDB.bak'  WITH stats =5 , COMPRESSION 
GO

總結(jié)

SQL Server 2022通過新引入的S3連接器，SQL Server能夠支持通過REST API與S3兼容的對象存儲集成。用戶可以配置存儲桶和憑據(jù)，通過URL指向存儲位置進(jìn)行備份和恢復(fù)。此外，備份命令依然支持SQL2014的加密和SQL2008的壓縮等備份選項(xiàng)，以及在Linux平臺上的特殊配置要求。示例展示了如何創(chuàng)建憑據(jù)、執(zhí)行數(shù)據(jù)庫備份和恢復(fù)操作，支持區(qū)域參數(shù)指定備份和恢復(fù)的地域。

參考文章

https://learn.microsoft.com/en-us/sql/relational-databases/backup-restore/sql-server-backup-to-url-s3-compatible-object-storage?view=sql-server-ver16&viewFallbackFrom=sql-server-ver15

https://aws.amazon.com/cn/blogs/modernizing-with-aws/backup-sql-server-to-amazon-s3/

https://www.mssqltips.com/sqlservertip/7302/backup-sql-server-2022-database-aws-s3-storage/

本文版權(quán)歸作者所有，未經(jīng)作者同意不得轉(zhuǎn)載。