論文

• Storage Systems topics and related papers
• Storage System and File System Courses

Linux I/O棧

• Linux內核的I/O棧大圖
• 知乎Linux I/O專欄1
• Linux 塊設備之Block Layer層架構演變
• Linux VFS機制簡析（一）
• Linux VFS機制簡析（二）
• Linux Kernel文件系統寫I/O流程代碼分析（一）
• Linux Kernel文件系統寫I/O流程代碼分析（二）bdi_writeback
• 內核文檔：Filesystems in the Linux kernel

工具

• linux問題調查工具指南
• Linux 要如何優化SSD(固態硬盤)？
• linux-磁盤io監控相關工具整理
• Linux block devices: hints for debugging and new developments

調試節點

• Block layer statistics in /sys/block/<dev>/stat

dd

• dd 工具使用; SSD 順序寫性能測試；
• 匯報dd的進度

FIO

• github： https://github.com/axboe/fio
• HOWTO.rst
• https://fio.readthedocs.io/en/latest/index.html
• Linux下磁盤IO讀寫測試工具-FIO詳解
• hdparm和fio簡介
• linux 磁盤IO測試工具：fio (同時簡要介紹dd工具測試)
• Fio Output Explained

ioprof

• 分析IO的工具 ioprof，支持導出圖表

blktrace

• 倉庫：https://git.kernel.dk/cgit/blktrace/
• 靜態編譯的版本：blktrace_2.0.tar.gz
• blktrace分析IO 繪制圖表
• 利用blktrace分析磁盤I/O
• 利用blktrace分析IO性能
• io分析神器blktrace
• Deep in blktrace
• Linux IO性能分析blktrace/blk跟蹤器
• blktrace工具
• Debugging disk issues with blktrace, blkparse, btrace and btt in Linux environment
• ftrace interface for blktrace
• blktrace + blkparse + btt 分析IO

iotrace

• https://github.com/Open-CAS/standalone-linux-io-tracer
  • Case Study

iostat

• 容易被誤讀的iostat
• I/O statistics fields
• 深入理解iostat
• 深入分析diskstats
• IOSTAT中關于%util，svctm存在的陷阱及解決辦法
• 瓶頸確認之IO瓶頸確認之第一篇

hdparm

• 查看一個文件實際使用了哪些扇區

hdparm --fibmap xxx

dumpe2fs

• https://man7.org/linux/man-pages/man8/dumpe2fs.8.html

用法（來自chatgpt）

dumpe2fs 是一個用于顯示 ext2、ext3、ext4 文件系統信息的命令行工具。以下是 dumpe2fs 的用法：

dumpe2fs [選項] 設備文件名

其中，[選項] 可以是以下任意組合：

• -h：顯示幫助信息。
• -V：顯示版本信息。
• -b：顯示塊位圖的信息。
• -i：顯示 inode 位圖的信息。
• -I：顯示 inode 表的信息。
• -l：顯示文件系統的塊和 inode 的數量、大小、使用情況等信息。
• -o：顯示文件系統的掛載選項。
• -p：顯示文件系統的預讀塊數。
• -r：顯示文件系統的塊組摘要信息。
• -S：顯示文件系統的超級塊信息。
• -x：顯示文件系統的擴展信息。

設備文件名 是要顯示信息的文件系統所在的設備文件名，例如 /dev/sda1。

例如，要顯示 /dev/sda1 文件系統的塊和 inode 的數量、大小、使用情況等信息，可以使用以下命令：

dumpe2fs -l /dev/sda1

debugfs

• https://man7.org/linux/man-pages/man8/debugfs.8.html

debugfs 是一個用于調試文件系統的工具，可以用于查看和修改文件系統的內部狀態。以下是一些常見的 debugfs 命令：

1. 打開文件系統：debugfs /dev/sda1 （假設 /dev/sda1 是要調試的文件系統）

2. 查看文件系統的超級塊信息：stat <文件系統根目錄的inode號>

3. 查看文件系統的塊位圖：bmap <文件名>

4. 查看文件系統的inode位圖：imap <文件名>

5. 查看文件系統的inode信息：inode <inode號>

6. 查看文件系統的目錄項信息：ls <目錄名>

7. 查看文件系統的文件內容：cat <文件名>

8. 修改文件系統的inode信息：write <inode號> <偏移量> <數據>

9. 修改文件系統的目錄項信息：set <目錄項名> <inode號>

10. 退出 debugfs：quit

請注意，使用 debugfs 可能會對文件系統造成不可逆的損壞，因此在使用之前請務必備份數據。

fsck

• https://man7.org/linux/man-pages/man8/e2fsck.8.html

tune2fs

• https://man7.org/linux/man-pages/man8/tune2fs.8.html
• EXT4是否存在FS error

blockdev

• https://man7.org/linux/man-pages/man8/blockdev.8.html
• blockdev --setra預讀優化和IO請求的大小

smartctl

• http://www.rzrgm.cn/fiberhome/p/8275961.html

NVME CLI

• nvme-cli用戶工具
• https://blog.csdn.net/Z_Stand/article/details/111415236
• Nvme硬盤檢測步驟

sg3_utils

• 官網：http://sg.danny.cz/sg/sg3_utils.html

Storcli64

• Storcli64 工具操作指南
• 不同型號陣列卡相關工具的使用簡介

MegaRAID

• MegaRAID管理工具操作手冊
• MegaRAID MegaRAID/3108問題
• sas2ircu、sas3ircu、MegaCli64、hpssacli 陣列卡工具使用指令

內核

• 宋寶華：Linux文件讀寫（BIO）波瀾壯闊的一生
• 劉正元: Linux 通用塊層之IO合并
• block子系統內核文檔
• IOwait 到底在wait什么
• BLOCK層代碼分析（0）存儲IO框架介紹
• BLOCK 層這么多參數都是什么意思？！
• Long Story of Block - 1 Data Unit
• Long Story of Block - segment
• linux block layer第一篇bio 子系統數據結構及初始化
• linux block layer第二篇bio 的操作
• 存儲IO落盤原理及路徑分析

文件系統

EXT2/3/4

• Understanding Linux ext2 ext3 and ext4 filesystems
• Frequently Asked Questions
• Upgrade To Ext4
• ext4(5) — Linux manual page

EXT4

• Ext4 Howto
• ext4 Filesystem
• ext4 Data Structures and Algorithms
• https://www.thomas-krenn.com/en/wiki/Ext4_Filesystem
• EXT4文件系統的磁盤整體布局
• ext4 mounted with default delalloc option can cause slow IO performance when
  batching writes
• ext4文件系統的delalloc選項造成單次寫延遲增加的分析
• Understanding Ext4 Disk Layout, Part 1
• Understanding Ext4 Disk Layout, Part 2
• Directory Entry Lookup in ext4
• mkfs.ext4 - What it actually creates
• Introduction to the Ext4 File System for Linux
• A Minimum Complete Tutorial of Linux ext4 File System
• An introduction to Linux's EXT4 filesystem

EXT2

• The Second Extended Filesystem
• https://www.nongnu.org/ext2-doc/
• https://wiki.osdev.org/Ext2
• The File system

F2FS

• F2FS源碼分析系列文章

FUSE

• 吳錦華/明鑫: 用戶態文件系統(FUSE)框架分析和實戰

Overlay

• 深入理解overlayfs（一）：初識
• 深入理解overlayfs（二）：使用與原理分析

臟頁回寫

• writeback bdi臟頁回寫原理linux內核源碼解析
• VFS源碼分析-Page Cache Writeback臟頁回寫機制
• https://lwn.net/Kernel/Index/#Memory_management-Writeback

預讀

• 程序中如何禁用Linux文件預讀和緩存機制

模擬設備

• Null block device driver
• 基于內存的磁盤驅動

block cgroup

• cgroup-blkio子系統分析
• cgroupv2 權威指南
• cgroup--blkio子系統測試-1（throttle測試)
• Linux Cgroup v1(中文翻譯)(4)：Block IO Controller
• Cgroup blkio簡介和測試（使用fio測試）
• I/O bandwidth controllers

throttle

• 關于IO throttle
• Buffer IO的throttle問題
• Cgroup V2 and writeback support
• Block Throttle
• Block Throttle - Low Limit
• Resource management in Docker

io latency

• The block I/O latency controller
• The creation of the io.latency block I/O controller
• iolatency

io prio

• Block io priorities
• How disk IO priority is related with process priority?
• How to Manage the Priority of I/O Processes in Linux

io cost

• blk-iocost: iocost: improve donation, debt and excess handling
• blk-iocost權重限速
• IOCost: Block IO Control for Containers in Datacenters

Discard

• Long Story of Block - DISCARD
• SSD的TRIM原理及實踐

blk-mq

• linux內核block層Multi queue多隊列核心點分析
• Multi-queue 架構分析
• Linux Block IO: Introducing Multi-queue SSD Access on Multi-core Systems
• Block multi-queue 架構解析（一）數據結構
• Block multi-queue 架構解析（二）流程與機制
• blk-mq arch
• Multi-Queue Block IO Queueing Mechanism (blk-mq)

IO調度器

• Linux IO Scheduler（Linux IO 調度器）
• BFQ (Budget Fair Queueing)

Integrity

• Data Integrity
• Using Linux Block Integrity in Building and Testing Storage Systems
  • Slide
  • Youtube
• integritysetup

Encryption

• Inline Encryption
• Speeding Up Linux Disk Encryption

Zoned Block Device

• ZNS的前世今生
• 西數 Zoned Storage 分區存儲
• ZNS : 解決傳統SSD問題的高性能存儲棧設計
• 用null_blk工具來實現模擬分區塊設備
• Zoned Storage
• Zoned Block Device Emulation

Device Mapper

• 內核文檔：Device Mapper
• Device Mapper 簡介
• Linux Command dmsetup管理LVM
• linux命令----dmsetup
• 高性能存儲的另一塊拼圖——DM 支持 IO Polling
• Userspace block device driver (ublk driver)

LVM

• LVM邏輯卷和手動創建邏輯卷
• LVM 邏輯卷管理
  • lvm 邏輯卷管理（原理概念篇）
  • LVM 邏輯卷管理（實戰篇）
• 通過LVM創建邏輯卷
• 擴容邏輯卷

Multipath

• Linux 下存儲多路徑軟件 MultiPath 源碼分析
• Multipath 切換主路徑
• redhat DM Multipath
• 紅帽DM multipath技術文檔
• https://github.com/opensvc/multipath-tools
• Linux multipathd多路徑
• 使用scsi_debug測試dm-multipath多路徑軟件的簡單實驗
• 第1講 多路徑軟件multipath的介紹與安裝
• 第2講 scsi設備模擬器scsi_debug
• 第3講 multipath聚合由scsi_debug模擬的設備
• 4.如何刪除多路徑設備和scsi設備
• 第5講 multipath的屬性features
• 第6講 multipath的路徑選擇path-selector
• 第7講 multipath的路徑分組策略
• Beginners guide to Device Mapper (DM) multipathing

IO Uring

• Linux 異步 I/O 框架 io_uring：基本原理、程序示例與性能壓測
• Welcome to Lord of the io_uring

Bcache

• Linux下SSD緩存加速之bcache使用
• bcache原理及實踐

Flashcache

• 理解flashcache（1）

DirectIO

• DirectIO的對齊問題
• Why does O_DIRECT require I/O to be 512-byte aligned?
• Notes of O_DIRECT flag

SCSI

• 協議
• Linux Scsi子系統框架介紹
• http://www.rzrgm.cn/pengdonglin137/p/16383560.html
• 內核文檔：Documentation/scsi/
• 內核文檔：SCSI_EH
• 內核文檔：SCSI mid_level - lower_level driver interface
• 內核文檔：SCSI Kernel Parameters
• linux scsi相關的一些學習筆記
• SCSI代碼分析（0）SCSI層框架
• SCSI設備IO棧與塊設備并發機制
• Scsi_debug adapter driver for Linux
• scsi設備模擬器scsi_debug
• IO 能夠保證在確定的時間回來嗎？
• BLOCK_SCSI 專欄
• kernel 3.10內核源碼分析--IO--SCSI錯誤處理機制

iscsi

• iscsi服務器介紹和搭建
• ISCSI服務器搭建與配置
• block & scsi & iscsi 開啟調試日志
• 聊一聊存儲協議中的孿生兄弟SCSI和iSCSI
• 什么是ISCSI?ISCSI又能干什么呢？
• iscsiadm和iscsid的源碼
• Linux文件系統-ISCSI存儲和Multipathd
• Multipath 多路徑
• iSCSI與multipath部署
• iSCSI initiator軟件架構
• ISCSI介紹
• iSCSI（一） iSCSI詳解 及 iSCSI配置
• open-iscsi
• iSCSI command
• How to get scsi_id

NVME

• NVME專欄
• NVMe的Linux內核驅動分析

RAID

• RAID1是什么
• RAID 10是什么
• Linux——RAID磁盤陣列
• 創建RAID陣列（Linux）
• Linux磁盤陣列（RAID0、RAID1、RADI5、 RAID6、RAID1+0）

書籍推薦

• 《存儲技術原理分析 基于Linux 2.6內核源代碼》
• 《Linux內核探秘：深入解析文件系統和設備驅動的架構與設計》
• 《深入淺出ssd-固態存儲核心技術原理與實戰》
• 《大話存儲》

問題排查

• How to check Fibre Channel HBAs in Linux
• How to identify the HBA cards/ports and WWN in Linux