問題描述

使用pip install flash-attn --no-build-isolation指令安裝flash-attention環境的時候出現編譯耗費時間長并且導致LINUX系統卡住的情況. 同時出現ninja編譯出現報錯, 部分subprocess出現ERROR報錯中斷編譯的情況.

磁盤IO顯示消耗不大, 但是使用起來很卡

原因

這和顯卡型號還有flash-attn版本很有關系.

現在的flash-attn版本是2.+, 不支持消費級顯卡

官方文檔:

Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100). 
Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.

如果是RTX3090或者RTX4090等消費級顯卡, 那么編譯的時候會不支持導致卡死.

需要使用老版本1.+

解決問題

根據 https://pypi.org/project/flash-attn/#history 中的歷史的release版本, 我選擇了最新的1.+版本1.0.9.

使用pip安裝環境:

 pip install flash-attn==1.0.9 --no-build-isolation

成功解決問題, 安裝環境