一文了解 io.Copy 函數

1. 引言

io.Copy 函數是一個非常好用的函數，能夠非常方便得將數據進行拷貝。本文我們將從io.Copy 函數的基本定義出發，講述其基本使用和實現原理，以及一些注意事項，基于此完成對io.Copy 函數的介紹。

2. 基本說明

2.1 基本定義

Copy函數用于將數據從源（io.Reader）復制到目標（io.Writer）。它會持續復制直到源中的數據全部讀取完畢或發生錯誤，并返回復制的字節數和可能的錯誤。函數定義如下:

func Copy(dst io.Writer, src io.Reader) (written int64, err error)

其中dst 為目標寫入器，用于接收源數據；src則是源讀取器，用于提供數據。

2.2 使用示例

下面提供一個使用 io.Copy 實現數據拷貝的代碼示例，比便更好得理解和使用Copy函數，代碼示例如下:

package main

import (
        "fmt"
        "io"
        "os"
)

func main() {
        fmt.Print("請輸入一個字符串：")
        src := readString()
        // 通過io.Copy 函數能夠將 src 的全部數據 拷貝到 控制臺上輸出
        written, err := io.Copy(os.Stdout, src)
        if err != nil {
                fmt.Println("復制過程中發生錯誤：", err)
                return
        }

        fmt.Printf("\n成功復制了 %d 個字節。\n", written)
}

func readString() io.Reader {
   buffer := make([]byte, 1024)
   n, _ := os.Stdin.Read(buffer)
   // 如果實際讀取的字節數少于切片長度，則截取切片
   if n < len(buffer) {
      buffer = buffer[:n]
   }
   return strings.NewReader(string(buffer))
}

在這個例子中，我們首先使用readString函數從標準輸入中讀取字符串，然后使用strings.NewReader將其包裝為io.Reader返回。

然后，我們調用io.Copy函數，將讀取到數據全部復制到標準輸出（os.Stdout）。最后，我們打印復制的字節數。可以運行這個程序并在終端輸入一個字符串，通過Copy函數，程序最終會將字符串打印到終端上。

3. 實現原理

在了解了io.Copy 函數的基本定義和使用后，這里我們來對 io.Copy 函數的實現來進行基本的說明，加深對 io.Copy 函數的理解。

io.Copy基本實現原理如下，首先創建一個緩沖區，用于暫存從源Reader讀取到的數據。然后進入一個循環，每次循環從源Reader讀取數據，然后存儲到之前創建的緩沖區，之后再寫入到目標Writer中。不斷重復這個過程，直到源Reader返回EOF，此時代表數據已經全部讀取完成，io.Copy也完成了從源Reader往目標Writer拷貝全部數據的工作。

在這個過程中，如果往目標Writer寫入數據過程中發生錯誤，亦或者從源Reader讀取數據發生錯誤，此時io.Copy函數將會中斷，然后返回對應的錯誤。下面我們來看io.Copy的實現:

func Copy(dst Writer, src Reader) (written int64, err error) {
   // Copy 函數 調用了 copyBuffer 函數來實現
   return copyBuffer(dst, src, nil)
}

func copyBuffer(dst Writer, src Reader, buf []byte) (written int64, err error) {
   // 如果 源Reader 實現了 WriterTo 接口,直接調用該方法 將數據寫入到 目標Writer 當中
   if wt, ok := src.(WriterTo); ok {
      return wt.WriteTo(dst)
   }
   // 同理，如果 目標Writer 實現了 ReaderFrom 接口,直接調用ReadFrom方法
   if rt, ok := dst.(ReaderFrom); ok {
      return rt.ReadFrom(src)
   }
   // 如果沒有傳入緩沖區，此時默認 創建一個 緩沖區
   if buf == nil {
      // 默認緩沖區 大小為 32kb
      size := 32 * 1024
      // 如果源Reader 為LimitedReader, 此時比較 可讀數據數 和 默認緩沖區，取較小那個
      if l, ok := src.(*LimitedReader); ok && int64(size) > l.N {
         if l.N < 1 {
            size = 1
         } else {
            size = int(l.N)
         }
      }
      buf = make([]byte, size)
   }
   for {
      // 調用Read方法 讀取數據
      nr, er := src.Read(buf)
      if nr > 0 {
         // 將數據寫入到 目標Writer 當中
         nw, ew := dst.Write(buf[0:nr])
         // 判斷寫入是否 出現了 錯誤
         if nw < 0 || nr < nw {
            nw = 0
            if ew == nil {
               ew = errInvalidWrite
            }
         }
         // 累加 總寫入數據
         written += int64(nw)
         if ew != nil {
            err = ew
            break
         }
         // 寫入字節數 小于 讀取字節數,此時報錯
         if nr != nw {
            err = ErrShortWrite
            break
         }
      }
      if er != nil {
         if er != EOF {
            err = er
         }
         break
      }
   }
   return written, err
}

從上述基本原理和代碼實現來看，io.Copy 函數的實現還是非常簡單的，就是申請一個緩沖區，然后從源Reader讀取一些數據放到緩沖區中，然后再將緩沖區的數據寫入到目標Writer，如此往復，直到數據全部讀取完成。

4. 注意事項

4.1 注意關閉源Reader和目標Writer

在使用io.Copy 進行數據拷貝時，需要指定源Reader 和目標Writer，當io.Copy 完成數據拷貝工作后，我們需要調用Close 方法關閉源Reader 和目標Writer。如果沒有適時關閉資源，可能會導致一些不可預料情況的出現。

下面展示一個使用 io.Copy 進行文件復制的代碼示例，同時簡單說明不適時關閉資源可能導致的問題：

package main

import (
        "fmt"
        "io"
        "os"
)

func main() {
        sourceFile := "source.txt"
        destinationFile := "destination.txt"

        // 打開源文件
        src, err := os.Open(sourceFile)
        if err != nil {
                fmt.Println("無法打開源文件:", err)
                return
        }
        // 調用Close方法
        defer src.Close()

        // 創建目標文件
        dst, err := os.Create(destinationFile)
        if err != nil {
                fmt.Println("無法創建目標文件:", err)
                return
        }
        // 調用Close 方法
        defer dst.Close()

        // 執行文件復制
        _, err = io.Copy(dst, src)
        if err != nil {
                fmt.Println("復制文件出錯:", err)
                return
        }

        fmt.Println("文件復制成功!")
}

使用 io.Copy 函數將源文件的內容復制到目標文件中。在結束代碼之前，我們需要適時地關閉源文件和目標文件。以上面使用io.Copy 實現文件復制功能為例，如果我們沒有適時關閉資源，首先是可能會導致文件句柄泄漏，數據不完整等一系列問題的出現。

因此我們在io.Copy函數之后，需要在適當的地方調用Close關閉系統資源。

4.2 考慮性能問題

io.Copy 函數默認使用一個32KB大小的緩沖區來復制數據，如果我們處理的是大型文件，亦或者是高性能要求的場景，此時是可以考慮直接使用io.CopyBuffer 函數，自定義緩沖區大小，以優化復制性能。而io.Copy和io.CopyBuffer 底層其實都是調用io.copyBuffer 函數的，二者底層實現其實沒有太大的區別。

下面通過一個基準測試，展示不同緩沖區大小對數據拷貝性能的影響:

func BenchmarkCopyWithBufferSize(b *testing.B) {
   // 本地運行時, 文件大小為 100 M
   filePath := "largefile.txt"
   bufferSizes := []int{32 * 1024, 64 * 1024, 128 * 1024} // 不同的緩沖區大小

   for _, bufferSize := range bufferSizes {
      b.Run(fmt.Sprintf("BufferSize-%d", bufferSize), func(b *testing.B) {
         for n := 0; n < b.N; n++ {
            src, _ := os.Open(filePath)
            dst, _ := os.Create("destination.txt")

            buffer := make([]byte, bufferSize)
            _, _ = io.CopyBuffer(dst, src, buffer)

            _ = src.Close()
            _ = dst.Close()
            _ = os.Remove("destination.txt")
         }
      })
   }
}

這里我們定義的緩沖區大小分別是32KB, 64KB和128KB，然后使用該緩沖區來拷貝數據。下面我們看基準測試的結果:

BenchmarkCopyWithBufferSize/BufferSize-32768-4                        12         116494592 ns/op
BenchmarkCopyWithBufferSize/BufferSize-65536-4                        10         110496584 ns/op
BenchmarkCopyWithBufferSize/BufferSize-131072-4                       12          87667712 ns/op

從這里看來，32KB大小的緩沖區拷貝一個100M的文件，需要116494592 ns/op, 而128KB大小的緩沖區拷貝一個100M的文件，需要87667712 ns/op。不同緩沖區的大小，確實是會對拷貝的性能有一定的影響。

在實際使用中，根據文件大小、系統資源和性能需求，可以根據需求進行緩沖區大小的調整。較小的文件通常可以直接使用io.Copy 函數默認的 32KB 緩沖區，而較大的文件可能需要更大的緩沖區來提高性能。通過合理選擇緩沖區大小，可以獲得更高效的文件復制操作。

5. 總結

io.Copy 函數是Go語言標準庫提供的一個工具函數，能夠將數據從源Reader復制到目標Writer。我們先從io.Copy 函數的基本定義出發，之后通過一個簡單的示例，展示如何使用io.Copy 函數實現數據拷貝。

接著我們講述了io.Copy 函數的實現原理，其實就是定義了一個緩沖區，將源Reader數據寫入到緩沖區中，然后再將緩沖區的數據寫入到目標Writer，不斷重復這個過程，實現了數據的拷貝。

在注意事項方面，則強調了及時關閉源Reader和目標Writer的重要性。以及用戶在使用時，需要考慮io.Copy函數的性能是否能夠滿足要求，之后通過基準測試展示了不同緩沖區大小可能帶來的性能差距。

基于此，完成了對io.Copy 函數的介紹，希望對你有所幫助。

posted @ 2023-07-10 07:12 菜鳥額閱讀(1834) 評論(0) 收藏舉報

刷新頁面返回頂部

菜鳥額