.net環(huán)境下跨進(jìn)程、高頻率讀寫數(shù)據(jù)
一、需求背景
1、最近項(xiàng)目要求高頻次地讀寫數(shù)據(jù)，數(shù)據(jù)量也不是很大，多表總共加起來在百萬條上下。
單表最大的也在25萬左右，歷史數(shù)據(jù)表因?yàn)椴簧婕八圆挥每紤]，
難點(diǎn)在于這個(gè)規(guī)模的熱點(diǎn)數(shù)據(jù)，變化非常頻繁。
數(shù)據(jù)來源于一些檢測設(shè)備的采集數(shù)據(jù)，一些大表，有可能在極短時(shí)間內(nèi)（如幾秒鐘）可能大部分都會(huì)變化，
而且主程序也有一些后臺服務(wù)需要不斷輪詢、讀寫某種類型的設(shè)備，所以要求信息交互時(shí)間盡可能短。
2、之前的解決方案是把所有熱點(diǎn)數(shù)據(jù)，統(tǒng)一加載到共享內(nèi)存里邊，到也能夠支撐的?。?strong>毫秒級的），但是由于系統(tǒng)架構(gòu)升級，之前的程序（20年前的）不能兼容。
只能重新寫一個(gè)，最先想到的是用redis，當(dāng)時(shí)把所有API重寫完成后，測試發(fā)現(xiàn)效率不行，是的，你沒有看錯(cuò)，redis也是有使用范圍的。
3、redis讀寫非常快，但是對于大批量讀寫操作我覺得支持不夠，雖然redis支持批量讀寫，但是效率還是不夠快，
對于字符串（string）類型的批量讀寫，我測試過；效率比較好的在每批次200 至 250條之間，處理20萬條數(shù)據(jù)耗時(shí)5秒左右, (PC機(jī)，8G，4核)
而對于有序集合（sorted set）類型，批量寫的操作用起來非常別扭，而且沒有修改API（如有其他方式請指教），我測試過，效率沒string類型那么高
其他類型不適合我的業(yè)務(wù)場景，就沒考慮使用了
4、所以項(xiàng)目組最后決定還是用回共享內(nèi)存，先決定在.net環(huán)境下使用c#的共享內(nèi)存，這個(gè)功能可能使用的人不多，其實(shí)在.net4.0版本就已經(jīng)集成進(jìn)來了
在System.IO.MemoryMappedFile命名空間下。這個(gè)類庫讓人很無語，因?yàn)槔镞吥苡玫闹挥蠾rite、Read這2種方法，而且只是針對字節(jié)的操作，
需要非常多的類型轉(zhuǎn)換，非常麻煩！想想，只能以字節(jié)為單位去構(gòu)建一個(gè)需要存放百萬級數(shù)據(jù)的內(nèi)存數(shù)據(jù)庫，得多麻煩？
需要手動(dòng)搞定索引功能，因?yàn)橐С指鞣N查詢，最后花了一天的時(shí)間寫完DEMO，最后測試后發(fā)現(xiàn)效率并沒有很大提高，因?yàn)楫?dāng)時(shí)加了互斥量測試，
但是離毫秒級差得遠(yuǎn)。這個(gè)技術(shù)點(diǎn)有興趣的可以了解下，園子里有，如：http://www.rzrgm.cn/zeroone/archive/2012/04/18/2454776.html
二、沒錯(cuò)，第一節(jié)寫的太多了
1、最后分析，這應(yīng)該是c#語言的瓶頸，c#對于這種騷操作是不那么成熟的。
2、最后瞄來瞄去，決定使用VC開發(fā)一個(gè)dll，在里邊封裝對內(nèi)存數(shù)據(jù)的讀寫功能，然后c#調(diào)用
3、本人的C、C++不那么熟、參考了一些實(shí)例，比如園子里的：http://www.rzrgm.cn/cwbcwb505/archive/2008/12/08/1350505.html
4、是的，你沒有看錯(cuò)，2008年的，我還看到一篇更早的，看來底層開發(fā)C、C++那么經(jīng)久不衰不是沒有道理的，很多技術(shù)現(xiàn)在都在用
5、看看什么是共享內(nèi)存
三、開始寫代碼了
1、首先建2個(gè)控制臺項(xiàng)目，支持MFC，
2、先這樣：一個(gè)負(fù)責(zé)創(chuàng)建共享內(nèi)存，初始化數(shù)據(jù)
3、再這樣：一個(gè)讀寫數(shù)據(jù)測試，最后修改
4、最后修改下圖片細(xì)節(jié)，測試一下，看看效果
5、完成了，see, 是不是很簡單呀？都會(huì)了嗎？
四、真的要貼代碼了
1、先定義個(gè)枚舉返回狀態(tài)
1 typedef enum 2 { 3 Success = 0, 4 AlreadyExists = 1, 5 Error = 2, 6 OverSize = 3 7 }enumMemory;
2、再定義個(gè)結(jié)構(gòu)體用來測試
1 typedef struct 2 { 3 int TagID; 4 char TagName[32]; 5 int Area; 6 double EngVal; 7 double UpdateTime; 8 double RawMax; 9 double RawMin; 10 double RawVal; 11 char Name[50]; 12 char Al; 13 double ASTime; 14 char MaskState; 15 double AMTime; 16 char Cf; 17 char Tdf; 18 char AlarmCode[32]; 19 }TENG;
3、開始創(chuàng)建共享內(nèi)存
1 int Create(UINT size) 2 { 3 // Data 4 HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); 5 6 if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE) 7 return Error; 8 9 if (GetLastError() == ERROR_ALREADY_EXISTS) 10 return AlreadyExists; 11 12 // init 13 void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); 14 15 if (mapView == NULL) 16 return Error; 17 else 18 memset(mapView, 0, size); 19 20 return Success; 21 }
4、再開始寫數(shù)據(jù)
1 int Write(void *pDate, UINT nSize, UINT offset) 2 { 3 // open 4 HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); 5 6 if (fileMap == NULL) 7 return Error; 8 9 // hander 10 void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); 11 12 if (mapView == NULL) 13 return Error; 14 else 15 WriteDataPtr = mapView; 16 17 // write 18 memcpy(mapView, pDate, nSize); 19 20 UnmapViewOfFile(pMapView); 21 return Success; 22 }
5、開始讀數(shù)據(jù)
1 int Read(void *pData, UINT nSize, UINT offset) 2 { 3 // open 4 HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); 5 6 if (fileMap == NULL) 7 return Error; 8 9 // hander 10 void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); 11 12 if (pMapView == NULL) 13 return Error; 14 else 15 ReadDataPtr = pMapView; 16 17 memcpy(pData, (pMapView, nSize); 18 19 UnmapViewOfFile(pMapView); 20 return Success; 21 }
6、OK了，不復(fù)雜，網(wǎng)上都有這些資料，最后我們貼上測試程序
1 int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]) 2 { 3 int length = 100000; 4 CEng * ceng = new CEng(); 5 DWORD dwStart = GetTickCount(); 6 7 for (int i = 0; i < length; i++) { 8 TENG eng; 9 ceng->Read(&eng, ceng->size, ceng->size * i); 10 11 eng.EngVal = i; 12 ceng->Write(&eng, ceng->size, (i*ceng->size)); 13 14 if (i % 10000 == 0 || i == length - 1) 15 printf("正在讀寫的Eng.TagName:%s \n", eng.TagName); 16 } 17 18 printf("總條數(shù)%d,耗時(shí):%d 毫秒 \n", length, GetTickCount() - dwStart); 19 20 // 驗(yàn)證數(shù)據(jù) 21 TENG eng5000; 22 ceng->Read(&eng5000, ceng->size, ceng->size * 5000); 23 printf("\n驗(yàn)證數(shù)據(jù) \n"); 24 printf("第5000個(gè)Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal); 25 26 27 scanf_s("按任意鍵結(jié)束"); 28 return 0; 29 }
7、還有寫測試程序
1 int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]) 2 { 3 int length = 100000; 4 CEng * ceng = new CEng(); 5 ceng->Create(ceng->size * length); 6 7 DWORD dwStart = GetTickCount(); 8 9 for (int i = 0; i < length; i++) 10 { 11 TENG eng; 12 memset(&eng, 0, ceng->size); 13 14 eng.TagID = i; 15 sprintf_s(eng.AlarmCode, "AlarmCode.%d", i); 16 sprintf_s(eng.TagName, "TagName.%d", i); 17 18 if (i % 10000 == 0 || i == length - 1) 19 printf("正在寫入的Eng.TagName:%s \n", eng.TagName); 20 21 ceng->Write(&eng, ceng->size, (i*ceng->size)); 22 } 23 24 25 // print time 26 printf("寫入數(shù)據(jù)完畢,總條數(shù):%d\n", length); 27 printf("初始化值共享內(nèi)存區(qū)耗時(shí):%d 毫秒 \n", GetTickCount() - dwStart); 28 29 30 scanf_s("按任意鍵結(jié)束"); 31 return 0; 32 }
8、當(dāng)然得再貼一遍啦
五、差點(diǎn)忘記做成DLL了
1、定義外部函數(shù)
1 extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset) 2 { 3 return ceng->Read(pData, nSize, offset); 4 } 5 6 extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset) 7 { 8 return ceng->Write(pData, nSize, offset); 9 }
2、好了，VC到此為止，可以去領(lǐng)盒飯了，c#進(jìn)場
1 public class Lib 2 { 3 [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] 4 public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset); 5 6 [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] 7 public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset); 8 }
3、c#測試一下
1 static void Main(string[] args) 2 { 3 var length = 100000; 4 var startTime = DateTime.Now; 5 var size = Marshal.SizeOf(typeof(TEng)); 6 var intPtrOut = Marshal.AllocHGlobal(size); 7 var intPtrIn = Marshal.AllocHGlobal(size); 8 9 for (var i = 0; i < length; i++) 10 { 11 Lib.ReadFromSharedMemory(intPtrOut, size, size * i); 12 13 var eng = Marshal.PtrToStructure<TEng>(intPtrOut); 14 eng.EngVal = i; 15 16 Marshal.StructureToPtr(eng, intPtrIn, true); 17 Lib.WriteToSharedMemory(intPtrIn, size, size * i); 18 19 if (i % 10000 == 0) 20 Console.WriteLine("eng.TagID:{0}", eng.TagID); 21 } 22 23 Console.WriteLine("總條數(shù){0},耗時(shí):{1} 毫秒", length.ToString(), 24 (DateTime.Now - startTime).TotalMilliseconds.ToString()); 25 26 // 驗(yàn)證數(shù)據(jù) 27 var intPtr100 = Marshal.AllocHGlobal(size); 28 Lib.ReadFromSharedMemory(intPtr100, size, size * 100); 29 30 var eng100 = Marshal.PtrToStructure<TEng>(intPtr100); 31 32 Console.WriteLine(); 33 Console.WriteLine("驗(yàn)證數(shù)據(jù)"); 34 Console.WriteLine("第100個(gè)Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal); 35 36 Console.ReadKey(); 37 }
4、165毫秒，相比在VC下運(yùn)行，差了一個(gè)數(shù)量級，但是，也不錯(cuò)了；
因?yàn)閏#環(huán)境下需要不斷的Marshal.PtrToStructure、Marshal.StructureToPtr，頻繁地把數(shù)據(jù)在托管內(nèi)存俞共享內(nèi)存之間搬運(yùn)
是需要耗費(fèi)時(shí)間的，這點(diǎn)有更好處理方式的請指教，
六、因?yàn)榭缇€程、進(jìn)程，所以要考慮加入互斥量哦
1、很簡單，MFC下有現(xiàn)成的類CMutex，加在Write里邊在看看效率
互斥量是需要耗費(fèi)資源的，多了將進(jìn)100毫秒
2、讀寫都加上互斥量試試看
又多了80多毫秒，
魚與熊掌不可兼得啊。要根據(jù)實(shí)際運(yùn)用場景覺得是否加上互斥量
好了，人家51去游玩、我卻宅家里碼程序，可見我的趣味還是挺高的，洗澡、洗衣服、然后去吃飯、一天沒進(jìn)食了，
浙公網(wǎng)安備 33010602011771號