anluo8

摘要： 1. TensorCore 簡介： 硬件層面支持半精度浮點矩陣乘法，與昇騰NPU的 cube 核類似，最小只能計算規(guī)定尺寸的矩陣乘法。 wmma API 封裝在 nvcuda 命名空間 2. naive : 一個block 1 個warp，wmmaTile 16*16 點擊查看代碼 //naive 閱讀全文

摘要： 1. 介紹 參考文章：http://www.rzrgm.cn/cuancuancuanhao/p/7763256.html ，本文對 cublas gemm 的接口參數(shù)進行原理解釋。 2. 接口 cuBLAS中用于運算矩陣乘法的函數(shù)有4個，分別是 cublasSgemm（單精度實數(shù)）、cub 閱讀全文

摘要： 1.介紹 對 2048 * 512 矩陣轉置，使用NCU進行性能分析，并進行性能優(yōu)化。測試環(huán)境 CUDA 12.8,顯卡 5070。 2. Native: 二維 Block 二維block,一個線程處理一個元素 點擊查看代碼 //native：二維block,一個線程處理一個元素 //矩陣 M * 閱讀全文

摘要： 1. 背景 最開始在學習 cuda 編程時，只知道 warp scheduler 線程束調度的概念，但是不清楚調度的細節(jié)。現(xiàn)在查看 CUDA Pragramming Guide 性能優(yōu)化篇看到了關于 warp 調度更清晰的細節(jié)。 2. 概念 延時：一個線程束準備好執(zhí)行下一條指令的時鐘周期，受數(shù)據(jù)依賴 閱讀全文

摘要： 1. 介紹： 基于最近對大模型 KV_cache，及 Attention 變種學習中遇到的問題和理解記錄下來，幫助大家解決一點疑惑。 2. kv_cache 顯存對比： 參數(shù)說明 batch_size：B seq_len：L head_num：H head_dim：D layer_num：N gro 閱讀全文

摘要： 1. 項目介紹 源項目倉：https://gitee.com/ascend/samples/tree/master/operator/ascendc/0_introduction/20_mmad_kernellaunch 目標項目倉：https://gitee.com/ascend/cann-ops 閱讀全文

摘要： 1. 介紹 矩陣向量乘法: A * X = Y, A(M,K) X(K,1) Y(M,1); 實現(xiàn)多種并行算法及優(yōu)化方法和 cublas 庫 sgemv 的效率對比。 2. gpu 并行算法介紹 并行算法一：一個線程計算一個結果元素； 并行算法二：使用合并訪存,需要將輸入數(shù)據(jù)轉置； 并行算法三: 合 閱讀全文

摘要： 1. 介紹 矩陣A（MK） B（KN）單精度浮點數(shù)進行矩陣乘法； 分別實現(xiàn)CPU串行，GPU多種并行計算算法，與 cublas 庫 sgemm 函數(shù)效率對比。 2. gpu 并行算法簡介 并行算法一：二維block,一個線程程計算一個C元素,缺點:訪存次數(shù)過多 并行算法二: 優(yōu)化一: 使用線程塊 t 閱讀全文

摘要： 1. 掃描概念 對數(shù)組arr[N]掃描就是得到數(shù)組prefix[N]，每個元素是之前arr元素的求和. 開掃描定義:prefix1[N] = { arr[0], arr[0]+arr[1], ..., arr[0]+arr[1]+arr[N-1] } 閉掃描定義: prefix2[N] = { 0, 閱讀全文

摘要： 1. 目標：對數(shù)組進行求和，并做優(yōu)化對比 2. baseline 代碼 相鄰求和: 根據(jù)blockSize對數(shù)據(jù)分塊,并將數(shù)據(jù)放在共享內存,以線程塊為單位,塊內線程數(shù)量=數(shù)據(jù)個數(shù),相鄰配對,用其中第一個元素索引為ID的線程進行計算,計算結果放在第一個元素位置,循環(huán)進行下一輪計算,最后塊求和計算結果賦 閱讀全文

摘要： 1. 延遲隱藏作用：可以最大化SM的使用效率，提高計算性能 2. 延遲隱藏概念 （1）指令延遲是指令發(fā)出到完成之間的時鐘周期間隔； （2）指令可以分為兩種：算數(shù)指令和訪存指令。 3. 算數(shù)指令延遲隱藏實現(xiàn) （1）假如一個算數(shù)指令的指令延遲是 4 個時鐘周期 （2）查詢cuda文檔得到如下計算能力的設 閱讀全文

摘要： 1. 簡介 (1) 使用CPU對向量點乘進行串行計算 (2) 對數(shù)據(jù)進行分塊,使用單進程多卡(多流)并行計算 (3) 使用不同數(shù)據(jù)規(guī)模,比較加速比的變化 2. 代碼 #include <stdio.h> #include <sys/time.h> #include <stdlib.h> #defin 閱讀全文

摘要： 1. 介紹： (1) 用CUDA計算 pow(sin(id),2)+ pow(cos(id),2)的結果 (2) 對比單流(同步傳輸、異步傳輸)、多流深度優(yōu)先調度、多流廣度優(yōu)先調度的效率(包含數(shù)據(jù)傳輸和計算) 核心代碼 1. 用CUDA計算 pow(sin(id),2)+ pow(cos(id),2 閱讀全文

摘要： 1. 目標：對 16384*16384 規(guī)模的矩陣進行加法運算，對比 CPU 和 GPU 計算的效率，還有不同線程塊大小規(guī)模下對效率的影響；并做可能的優(yōu)化測試。 2. 核心代碼 /* 用GPU對二維矩陣做加法，分析不同線程塊規(guī)模下的性能變化 */ #include <stdio.h> #includ 閱讀全文

摘要： 1. 目標：使用CPU和GPU對一千萬數(shù)量級的一維信號進行均值濾波，并且根據(jù)GPU存儲模型對數(shù)據(jù)存儲進行優(yōu)化，最終對比計算結果并計算加速比。 2. 代碼 /* cuda實現(xiàn)對一維信號卷積平滑濾波處理，并于串行計算對比結果和加速比,卷積核大小為5 */ #include <stdio.h> #incl 閱讀全文

摘要： 1. GPU的內存模型 GPU編程數(shù)據(jù)需要從CPU主存拷貝到GPU全局存儲器，所有線程共享全局存儲。開辟的全局存儲器空間指針在CPU代碼中不能解引用使用，應在計算完結果后再拷貝回CPU主存空間。線程塊內共享存儲。 (1) 線程私有的存儲有寄存器、本地內存 (2) 線程塊內有塊內線程共享的共享內存，在 閱讀全文

摘要： 1. 簡介 (1) Intel® Integrated Performance Primitives，即英特爾集成性能基元（簡稱IPP），為信號、數(shù)據(jù)和圖像處理特定應用領域，提供simd優(yōu)化的一組全面的函數(shù)庫。 (2) 本項目將對 exp、cos、sin、tone、Triangle函數(shù)用NEON向量 閱讀全文

摘要： 1. 源碼為對粒子移動狀態(tài)模擬的項目。要求使用多種優(yōu)化方法，對比串行優(yōu)化、多線程優(yōu)化、全部優(yōu)化下的加速比。 2. 代碼 項目代碼地址：https://github.com/libo-0379/StellarSim_Optimize 以下為核心優(yōu)化代碼及分析 #include <stdlib.h> # 閱讀全文

摘要： 1. 目標：使用 NEON intrinsic 函數(shù)，對512*512 png 四通道圖像順時針旋轉90度。 思路: 像素分塊，對塊內轉置；再水平鏡像。圖像庫使用 stb img 2. 代碼 #include <stdio.h> #include <arm_neon.h> #include <std 閱讀全文

摘要： 1. 對寄存器數(shù)據(jù)重排 /* 兩個向量，每兩個通道一組，第一個向量每組的后一個元素與第二個向量每組的第一個元素一次彼此交換 */ #include <stdio.h> #include <arm_neon.h> void main() { int arrc[8]={0}; int arrd[4]={ 閱讀全文