ISCSI技術原理與運維實踐指南

1、常見的存儲類型

DAS（Direct-AttachedStorage）直接附加存儲，存儲設備一般通過scsi/ide總線直接連接到主機上，常見的如SATA硬盤，SAS硬盤等，直接通過準線連接到計算機主板上面。該方式顯著的優點就是傳輸速度快，但傳輸距離受總線長度限制，且只能供本地使用。
NAS（Network AttachedStorage）網絡附加存儲，將存儲設備與服務器分離，集中管理數據，從而提升并發存儲能力、降低維護成本。典型的應用示例有NFS服務器,SAMBA服務器,NFS服務器等文件服務器，通過向外提供文件系統的方式向外提供存儲
SAN（Storage Area Network）存儲區域網絡，采用FC（Fibre Channel）光纖通道或者Ethernet進行遠距離傳輸，區別于Fiber Channel光纖通道技術，通過FC交換機連接存儲陣列和服務器主機，建立專用于數據存儲的區域網絡。

三種類型存儲的區別

DAS與SAN都是塊級別（Block-level）的存儲，而NAS是文件系統（File System level）級的存儲。因為文件系統是操作系統對磁盤數據的一次封裝。每次對數據訪問時提供文件服務的服務器都要對數據進行數據封裝，和解封裝，然后再對塊設備磁盤進行讀寫。而DAS是直接對塊設備進行讀寫，因此NAS的存儲速度不如前面兩者。

SAN（Storage Area Network）相當于模擬了遠距離傳輸的DAS，特點是速度快。支持的并發服務主機數量多。大家都知道遠距離傳輸是需要跨越Internet，而廣域網的帶寬是遠不能和局域網相比的，因此缺點便是網絡速度瓶頸問題。

2、ISCSI介紹

iSCSI（Internet SmallComputer System Interface）基于Internet的小型計算機系統接口，由IBM公司研究開發的，是一個可以讓硬件設備在IP協議的上層運行的SCSI指令集存儲技術，可以實現在IP網絡上運行SCSI協議，使其能夠在諸如高速千兆以太網上進行路由選擇。iSCSI技術是一種新儲存技術，該技術是將現有SCSI接口與以太網絡(Ethernet)技術結合，使服務器可通過IP網絡進行遠距離SCSI類型的數

據存儲設備由 SCSI 總線連接。iSCSI 的主要功能是在 TCP/IP 網絡上的主機系統（啟動器 initiator）和存儲設備（目標器 target）之間進行大量數據的封裝和可靠傳輸過程。此外，iSCSI 提供了在 IP 網絡封裝 SCSI 命令，且以TCP/IP協議傳輸。iSCSI服務端程序監聽端口為明文的TCP/3260。

實際生產環境中，一般都是使用集群搭建服務器，如果兩臺或多臺服務器都是使用獨立磁盤，那么磁盤的容量會有相應的限制，使用ISCSI 技術，實現遠程磁盤的使用，集群的服務器都掛在同一個遠程存儲設備到本地實現數據讀寫，這樣也就減少了一個同步數據的任務，大大減輕了服務器的資源消耗。

3、ISCSI常見術語

術語	功能描述
啟動器	一個iscsi客戶端，通常以軟件提供，必須為啟動器授予唯一名稱。
目標	一個iSCSI存儲資源，針對來自iSCSI服務器的連接而配置。必須為目標授予唯一名稱。目標提供一個或多個帶有編號的塊設備，稱為邏輯單元。一個iSCSI服務器可以同時提供多個目標。
發現	查詢目標服務器以列出配置的目標。
ACL	訪問權限控制列表，一種使用節點IQN(通常是啟動器名稱)來驗證啟動器的訪問權限的訪問限制。
IQN	iSCSI限定名稱，全球唯一名稱，用于以強制命名格式來識別啟動器和目標。 IQN格式如下： iqn.YYYY-MM.com.reversed.domain[:optional_string] iqn：表示此名稱使用域為標識符。 YYYY-MM：表示擁有域名的年月時間。 com.reversed.domain:擁有此iSCSI組織的逆向域名 :optional_string：以冒號為前綴的可選字符串，全球唯一，由域所有者根據需要分配，
LUN	邏輯單元號，帶有編號的塊設備，連接到目標且通過目標來使用。可以有一個或多個LUN連接到單個目標，但通常一個目標提供一個LUN
節點	任何一個iSCSI啟動器或iSCSI目標，由其IQN來標識。
TPG	目標門戶組，某個特定iSCSI目標要偵聽的接口IP地址和TCP端口的集合。可以將目標配置添加到TPG以協調多個LUN的設置。
門戶	目標或啟動器上用于建立的IP地址和端口。

4、提供ISCSI目標

在原始的SCSI協議術語中，目標是指在SCSI總線上唯一標識的單個可連接的存儲或輸出設備。在

iSCSI中，SCSI總線是在IP網絡中仿真，目標可以是網絡附加存儲機柜中的專用物理設備，也可以是網絡存儲服務器上iSCSI軟件配置的邏輯設備。

環境描述

IP	功能
192.168.26.201	ISCSI服務端
192.168.26.202	ISCSI客戶端

本章使用磁盤分區作為存儲設備，將主機磁盤/dev/sdb進行分區，其中分區/dev/sdb1大小為10G，未曾格式化，以此來提供存儲空間。

28	NAME	MAJ:MIN	RM	SIZE	RO	TYPE	MOUNTPOINT
29	sda	8:0	0	100G	0	disk
30	├─sda1	8:1	0	500M	0	part	/boot
31	└─sda2	8:2	0	42G	0	part
32	├─centos-root	253:0	0	40G	0	lvm	/
33	└─centos-swap	253:1	0	2G	0	lvm	[SWAP]
34	sdb	8:16	0	100G	0	disk
35	└─sdb1	8:17	0	10G	0	part
36	sr0	11:0	1	4.5G	0	rom

1. ISCSI實踐

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

[root@iscsi-server ~]# fdisk /dev/sdb

Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them. Be careful before using the write command.

Device does not contain a recognized partition table

Building a new DOS disklabel with disk identifier 0x6b62b934.

Command (m for help): n

Partition type:

p

e

primary (0 primary, 0 extended, 4 free)

extended

20

21

22

23

24

25

26

27

Select (default p):

Using default response p Partition number (1-4, default 1):

First sector (2048-209715199, default 2048):

Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-209715199, default 209715199):

+10G

Partition 1 of type Linux and of size 10 GiB is set

Command (m for help): w

The partition table has been altered!

Calling ioctl() to re-read partition table. Syncing disks.

[root@iscsi-server ~]# lsblk

在服務器端可以使用targetcli交互式shell工具，在其中可以創建刪除和配置iSCSI目標組件，并且在此命令行工具中支持shell常用的Linux命令：cd、ls、pwd等。可以通過yum安裝targetcli包提供此命令（此命令是紅帽7.2版本才支持的命令，之前使用tgtadm命令管理iSCSI設備）。

- 1. 安裝targetcli軟件包

1 [root@iscsi-server ~]# yum -y install targetcli

- 1. targetcli交互模式

執行targetcli命令，不帶任何選項，進入交互模式，targetcli處于初始空白配置。

[root@iscsi-server ~]# targetcli
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
targetcli shell version 2.1.53
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'. 6

7

8

9

10

11

12

13

14

15

/> ls o- /

............................................................................

.. [...]

o- backstores

................................................................... [...]

| o- block .......................................................

[Storage Objects: 0]

| o- fileio ......................................................

[Storage Objects: 0]

| o- pscsi .......................................................

[Storage Objects: 0]

| o- ramdisk .....................................................

[Storage Objects: 0]

o- iscsi .................................................................

[Targets: 0]

o- loopback ..............................................................

[Targets: 0]

創建后備存儲

后備存儲一共分為4種，如下：

類型	描述
block	服務器上的定義的塊設備，包括磁盤驅動器、磁盤分區、邏輯卷、多路徑設備以及服務器上定義的任何b類型的設備文件
fileio	在服務器文件系統中創建一個指定大小的文件，此方法類似于使用映像文件作為虛擬機磁盤映像的存儲
pscsi	物理SCSI，允許透傳到連接服務器的物理SCSI設備，通常不使用此后備存儲類型
ramdisk	在服務器上的內存中創建一個指定大小的ramdisk設備，這種類型的存儲將不會持久的存儲數據，當服務器重新啟動時，ramdisk定義將在目標實例化時返回，但是所有數據都將丟失

本次使用block類型的后備存儲，將之前準備的大小為10GB的磁盤分區/dev/sdb1關聯到block中，且后備存儲名稱為block1

/> cd backstores/
/backstores> ls
o- backstores

..................................................................... [...]

o- block .........................................................

[Storage Objects: 0]

o- fileio ........................................................

[Storage Objects: 0]

o- pscsi .........................................................

[Storage Objects: 0]

o- ramdisk .......................................................

[Storage Objects: 0]

/backstores> cd block
/backstores/block> ls
o- block ...........................................................

[Storage Objects: 0]

/backstores/block> create block1 /dev/sdb1
Created block storage object block1 using /dev/sdb1.
/backstores/block> cd ../
/backstores>
- 1. 為目標創建IQN

創建IQN，IQN名稱為iqn.2021-10.com.example:disk1

/> cd iscsi
/iscsi> create iqn.2021-10.com.example:disk1
Created target iqn.2021-10.com.example:disk1.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
/iscsi> ls
o- iscsi ...................................................................

[Targets: 1]

o- iqn.2021-10.com.example:disk1

............................................ [TPGs: 1]

o- tpg1 ...................................................... [no-gen-

acls, no-auth]

o- acls

................................................................. [ACLs: 0]

o- luns

................................................................. [LUNs: 0]

o- portals ...........................................................

[Portals: 1]

14 o- 0.0.0.0:3260

. [OK]

15 /iscsi>

16

- 1. 創建ACL

iSCSI協議是通過客戶端名稱進行驗證的，也就是說，用戶在訪問存儲共享資源時不需要輸入密碼，只要iSCSI客戶端的名稱與服務端中設置的訪問控制列表中某一名稱條目一致即可，因此需要在iSCSI服務端的配置文件中寫入一串能夠驗證用戶信息的名稱。acls參數目錄用于存放能夠訪問iSCSI服務端共享存儲資源的客戶端名稱。

在TPG中,創建ACL以控制客戶端節點的訪問，ACL名稱為iqn.2021-10.com.example:client

/iscsi> cd iqn.2021-10.com.example:disk1/
/iscsi/iqn.20...example:disk1> ls
o- iqn.2021-10.com.example:disk1

.............................................. [TPGs: 1]

o- tpg1 ........................................................ [no-gen-

acls, no-auth]

o- acls

. [ACLs:

0]

o- luns

. [LUNs:

0]

o- portals .............................................................

[Portals: 1]

8 o- 0.0.0.0:3260

. [OK]

/iscsi/iqn.20...example:disk1> cd tpg1/acls
/iscsi/iqn.20...sk1/tpg1/acls> create iqn.2021-10.com.example:client
Created Node ACL for iqn.2021-10.com.example:client
/iscsi/iqn.20...sk1/tpg1/acls> ls
o- acls

....................................................................... [ACLs: 1]

o- iqn.2021-10.com.example:client ....................................

[Mapped LUNs: 0]

/iscsi/iqn.20 sk1/tpg1/acls>

此ACL將目標配置為僅接受來自以iqn.2021-10.com.example:client作為啟動器名稱的客戶端連接

- 1. 創建LUN

在TPG中，為每個后備存儲創建一個LUN，此步驟還將激活每個后備存儲，由于TPG中存在ACL，因此

ACL將自動分配給每個創建的LUN，此處為block1后備存儲創建LUN

/iscsi/iqn.20...sk1/tpg1/acls> cd ..
/iscsi/iqn.20...le:disk1/tpg1> cd luns
/iscsi/iqn.20...sk1/tpg1/luns> create /backstores/block/block1
Created LUN 0.
Created LUN 0->0 mapping in node ACL iqn.2021-10.com.example:client
/iscsi/iqn.20...sk1/tpg1/luns> ls
o- luns

....................................................................... [LUNs: 1]

o- lun0 ................................. [block/block1 (/dev/sdb1) (default_tg_pt_gp)]
/iscsi/iqn.20...sk1/tpg1/luns>

創建一個LUN分配給目標，當啟動器連接到該目標時，將連接上一個新的SCSI設備。

創建門戶

在TPG中，創建一個門戶配置偵聽IP地址和端口，偵聽的IP地址為服務器上本地網絡接口的IP地址，端口為標準的ISCSi端口3260，由于在“為目標創建IQN”時進行了默認的門戶創建，所以建議先刪除默認門戶配置。

/iscsi/iqn.20...sk1/tpg1/luns> cd ..
/iscsi/iqn.20...le:disk1/tpg1> cd portals/
/iscsi/iqn.20.../tpg1/portals> ls
o- portals .................................................................

[Portals: 1]

5 o- 0.0.0.0:3260

. [OK]

/iscsi/iqn.20.../tpg1/portals> delete ip_address=0.0.0.0 ip_port=3260
Deleted network portal 0.0.0.0:3260
/iscsi/iqn.20.../tpg1/portals> create ip_address=192.168.26.201 ip_port=3260
Using default IP port 3260
Created network portal 192.168 26.201:3260.
/iscsi/iqn.20.../tpg1/portals> ls
o- portals .................................................................

[Portals: 1]

13 o- 192.168.26.201:3260

. [OK]

14 /iscsi/iqn.20 /tpg1/portals>

- 1. 整體預覽targetcli配置

退出targetcli后， targetcli的所有配置將自動保存，生成的持久配置文件以javascript對象表示法

（JSON）格式來存儲，存儲文件位于/etc/target/saveconfig.json。

- 1. 控制服務

[root@iscsi-server ~]# systemctl start target
[root@iscsi-server ~]# systemctl enable target

5、客戶端訪問

在CentOS 7系統中，已經默認安裝了iSCSI客戶端服務程序initiator。如果您的系統沒有安裝的話，可以使用Yum軟件倉庫手動安裝。

修改/etc/iscsi/initiatorname.iscsi配置文件,啟動服務

iSCSI協議是通過客戶端的名稱來進行驗證，而該名稱也是iSCSI客戶端的唯一標識，而且必須與服務端配置文件中訪問控制列表中的信息一致，否則客戶端在嘗試訪問存儲共享設備時，系統會彈出驗證失敗的保存信息。

[root@client ~]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2021-10.com.example:client
[root@client ~]# systemctl start iscsi
[root@client ~]# systemctl enable iscsi

1 [root@client ~]# yum -y install iscsi-initiator-utils

發現目標

在ISCSI客戶端連上目標之前，必須先發現目標，發現過程將目標節點信息和設置存儲

在/var/lib/iscsi/nodes目錄中，并且使用/etc/iscsi/iscsid.conf配置文件中的默認值,，使用到的命令如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

iscsiadm是一個模式化的命令，是客戶端的命令

-m {discovery|node|session|iface}

discovery:發現某個server是否有target輸出及有哪些輸出 node：自己作為節點與server端建立連接

session：查看會話 iface:進行接口管理的

-d:debug_lebel 等級為0—8越高輸出的debug信息越詳細，可省略

-I：指定使用哪個網絡接口，如果只有一塊網卡則不用指定

-t:sendtarget,slp,iSNS三種形式，一般用的是sendtarget簡寫為st

-p:IP:port IP為server的IP,port可以省略，默認為3260

發現輸出target后與登錄target有關的

-U 登出

-R 重新登入

-l 登入

-T 指定targetname

-p 指定server的IP/port

-s 顯示session的統計數據

發現目標

[root@client ~]# iscsiadm -m discovery -t st -p 192.168.26.201:3260
192.168.26.201:3260,1 iqn.2021-10.com.example:disk1

發現目標后，使用iscsiadm命令可以獲得有關目標的信息，同時使用選項"-P N" 可以查看不同詳細級別的信息，其中N為數字，使用iscsiadm獲得有關目標信息的具體命令及描述如下：

iscsiadm -m discovery [-P 0 | 1] ：顯示有關已發現目標的信息

iscsiadm -m node [-P 0 | 1 ] : 顯示有關已知目標的信息

iscsiadm -m session [-P 0 | 1| 2| 3] ：顯示有關活動會話的信息

[root@client ~]# iscsiadm -m discovery -P 1
SENDTARGETS:
DiscoveryAddress: 192.168.26.201,3260
Target: iqn.2021-10.com.example:disk1

5 Portal: 192.168.26.201:3260,1

Iface Name: default
iSNS:
No targets found.
STATIC:
No targets found.
FIRMWARE:
No targets found.

登錄目標

語法格式如下：

iscsiadm -m node -T 發現的目標IQN [ -p target_server[:port]] -l

[root@client ~]# iscsiadm -m node -T iqn.2021-10.com.example:disk1 -p 192.168.26.201:3260 -l
Logging in to [iface: default, target: iqn.2021-10.com.example:disk1, portal: 192.168.26.201,3260] (multiple)
Login to [iface: default, target: iqn.2021-10.com.example:disk1, portal: 192.168.26.201,3260] successful.

登錄成功后，使用命令fdisk -l 查看磁盤情況，會發現客戶端多了一個塊存儲設備

1 [root@client ~]# fdisk -l 2

3 Disk /dev/sda: 107.4 GB, 107374182400 bytes, 209715200 sectors

Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000ac425 9

10	Device	Boot	Start	End	Blocks	Id	System
11	/dev/sda1	*	2048	1026047	512000	83	Linux
12	/dev/sda2		1026048	89122815	44048384	8e	Linux LVM
13

Disk /dev/mapper/centos-root: 42.9 GB, 42949672960 bytes, 83886080 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

18

19

Disk /dev/mapper/centos-swap: 2147 MB, 2147483648 bytes, 4194304 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

24

25

26 Disk /dev/sdb: 10.7 GB, 10737418240 bytes, 20971520 sectors

Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes

29 I/O size (minimum/optimal): 512 bytes / 4194304 bytes

1. 使用ISCSI塊存儲

在ISCSI客戶端上對/dev/sdb設備進行分區，并格式化，規劃劃分分區大小為3G，格式化文件系統為xfs

- 1. [root@client ~]# fdisk /dev/sdb
  2. Welcome to fdisk (util-linux 2.23.2).

3

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command. 6
Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x253cf37c. 9
Command (m for help): n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p):
Using default response p
Partition number (1-4, default 1):
First sector (8192-20971519, default 8192):
Using default value 8192
Last sector, +sectors or +size{K,M,G} (8192-20971519, default 20971519): +3G
Partition 1 of type Linux and of size 3 GiB is set 21
Command (m for help): w
The partition table has been altered! 24

25 Calling ioctl() to re-read partition table.

26 Syncing disks.

27 [root@client ~]# mkfs.xfs /dev/sdb1

28 meta-data=/dev/sdb1 isize=512 agcount=4, agsize=196608 blks

29 = sectsz=512 attr=2, projid32bit=1

30 = crc=1 finobt=0, sparse=0

31 data = bsize=4096 blocks=786432, imaxpct=25

32 = sunit=0 swidth=0 blks

33 naming =version 2 bsize=4096 ascii-ci=0 ftype=1

34 log =internal log bsize=4096 blocks=2560, version=2

35 = sectsz=512 sunit=0 blks, lazy-count=1

36 realtime =none extsz=4096 blocks=0, rtextents=0

創建掛載目錄，掛載


1 2 3	[root@client ~]# mkdir /iscsistorage [root@client ~]# mount /dev/sdb1 /iscsistorage/ [root@client ~]# df -Th
4	Filesystem	Type	Size	Used	Avail	Use%	Mounted on
5	devtmpfs	devtmpfs	979M	0	979M	0%	/dev
6	tmpfs	tmpfs	991M	0	991M	0%	/dev/shm
7	tmpfs	tmpfs	991M	9.5M	981M	1%	/run
8	tmpfs	tmpfs	991M	0	991M	0%	/sys/fs/cgroup
9	/dev/mapper/centos-root	xfs	40G	1.5G	39G	4%	/
10	/dev/sda1	xfs	497M	130M	367M	27%	/boot
11	tmpfs	tmpfs	199M	0	199M	0%	/run/user/0
12	/dev/sdb1	xfs	3.0G	33M	3.0G	2%	/iscsistorage

編輯/etc/fstab文件，實現掛載開機自動生效

使用blkid確定文件系統UUID并使用UUID掛載,而不是/dev/sd*設備名稱。(每次引導時顯示的設備名稱都不同,具體取決于iSCSI設備通過網絡進行響應的順序。如果按設備名稱掛載,這會導致使用錯誤的設備。)
在/etc/fstab中使用_netdev作為掛載選項。(這將確保客戶端不會嘗試掛載文件系統,直至啟用聯網。否則,在引導時系統將出錯。)

[root@client ~]# blkid /dev/sdb1
/dev/sdb1: UUID="d04ec76a-87c8-4812-a34d-3bd534183d9e" TYPE="xfs"
[root@client ~]# vim /etc/fstab
UUID="d04ec76a-87c8-4812-a34d-3bd534183d9e" /iscsistorage xfs defaults,_netdev 0 0

停止使用目標

要停止使用某個目標，可以使用命令“iscsiadm”臨時注銷目標。臨時注銷目標后，節點記錄依然存在，用于在系統重新啟動或iscsi服務重新啟動后自動登錄到目標。如果未指定門戶，則將臨時注銷所有相關門戶的目標。

永久注銷目標要求刪除節點記錄，以便在不執行其他發現的情況下，不會再次進行手動或自動登錄。如果不指定門戶，將刪除所有相關門戶的目標節點記錄。

1 iscsiadm -m node -T 發現的目標IQN [ -p target_server[:port]] -o delete

[root@client ~]# umount /dev/sdb1
[root@client ~]# iscsiadm -m node -T iqn.2021-10.com.example:disk1 -p 192.168.26.201:3260 -u
Logging out of session [sid: 1, target: iqn.2021-10.com.example:disk1, portal: 192.168.26.201,3260]
Logout of [sid: 1, target: iqn.2021-10.com.example:disk1, portal: 192.168.26.201,3260] successful.

1 iscsiadm -m node -T 發現的目標IQN [ -p target_server[:port]] -u

iSCSI客戶端永久注銷iSCSI目標前，一定要先執行臨時注銷iSCSI目標操作

[root@client ~]# iscsiadm -m node -T iqn.2021-10.com.example:disk1 -p 192.168.26.201:3260 -o delete
[root@client ~]# iscsiadm -m discovery -P 1
SENDTARGETS:
DiscoveryAddress: 192.168.26.201,3260
iSNS:
No targets found.
STATIC:
No targets found.
FIRMWARE:
No targets found.
[root@client ~]# ls /var/lib/iscsi/nodes/
[root@client ~]#