前言

之前每次進(jìn)行機(jī)器學(xué)習(xí)和模型訓(xùn)練的時(shí)候發(fā)現(xiàn)想要訓(xùn)練不同模型的時(shí)候需要使用不同的框架，有時(shí)候費(fèi)了九牛二虎之力終于寫下了幾百行代碼之后，才發(fā)現(xiàn)環(huán)境調(diào)試不通，運(yùn)行效率也差強(qiáng)人意，于是自己寫了一個(gè)基于LabVIEW的機(jī)器視覺工具包，讓編程變得更簡(jiǎn)單便捷的同時(shí)，還能夠使用多種框架和硬件加速。

一、工具包內(nèi)容

此人工智能視覺工具包主要優(yōu)勢(shì)如下：

         1. 圖形化編程，無需掌握文本編程基礎(chǔ)即可完成機(jī)器視覺項(xiàng)目。

2. 多種攝像頭數(shù)據(jù)采集和矩陣計(jì)算。

3. 數(shù)百種圖像算子的調(diào)用。

4. 提供tensorflow、pytorch、caffe、darknet、onnx、paddle等多種框架深度學(xué)習(xí)模型的調(diào)用并實(shí)現(xiàn)推理。

5. 支持Nvidia GPU、Intel、TPU、NPU多種加速。

6. 提供近百個(gè)應(yīng)用程序范例，包括物體分類、物體檢測(cè)、物體測(cè)量、圖像分割、 人臉識(shí)別、自然場(chǎng)景下OCR等多種實(shí)用場(chǎng)景。

工具包中的函數(shù)選版如下：

例如，一個(gè)攝像頭采集并進(jìn)行yolov5目標(biāo)檢測(cè)的范例程序，只需在LabVIEW中編寫簡(jiǎn)單的圖形化程序，即可實(shí)現(xiàn)。在大量簡(jiǎn)化編程難度的同時(shí)，也保持了c++的高效運(yùn)行特性。

二、工具包下載鏈接

https://download.csdn.net/download/virobotics/18434228

三、實(shí)現(xiàn)物體識(shí)別

無論使用何種框架訓(xùn)練物體檢測(cè)模型，都可以無縫集成到LabVIEW中，并使用智能視覺工具包提供的CUDA接口實(shí)現(xiàn)加速推理，模型包括但不限于：

• yolov3/yolov4/yolov5

• SSD，F(xiàn)astest-RCNN（物體檢測(cè)）

• mobileNet、VGGnet、Resnet、Densenet、Efficientnet等（物體分類）

通過算法優(yōu)化，在LabVIEW中運(yùn)行模型的速度明顯好于python，這對(duì)于對(duì)性能要求較高的工業(yè)現(xiàn)場(chǎng)來說非常友好實(shí)用。比如說：工地安全帽檢測(cè)、物體表面缺陷檢測(cè)等，如下圖使用yolov4進(jìn)行物體識(shí)別，在GPU模式下，無論是運(yùn)行速度和識(shí)別率都可以達(dá)到工業(yè)級(jí)別。。

實(shí)測(cè)過程中我們發(fā)現(xiàn)同一系統(tǒng)環(huán)境下，使用labview工具包的識(shí)別效率遠(yuǎn)高于python識(shí)別效率。

四、實(shí)現(xiàn)圖像分割

圖像分割是當(dāng)今計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵問題之一。從宏觀上看，圖像分割是一項(xiàng)高層次的任務(wù)，為實(shí)現(xiàn)場(chǎng)景的完整理解鋪平了道路。場(chǎng)景理解作為一個(gè)核心的計(jì)算機(jī)視覺問題，其重要性在于越來越多的應(yīng)用程序通過從圖像中推斷知識(shí)來提供營(yíng)養(yǎng)。隨著深度學(xué)習(xí)軟硬件的加速發(fā)展，一些前沿的應(yīng)用包括自動(dòng)駕駛汽車、人機(jī)交互、醫(yī)療影像等，都開始研究并使用圖像分割技術(shù)。

本次集成的智能工具包提供了多種圖像分割的調(diào)用模塊，并實(shí)現(xiàn)了GPU模式下的加速運(yùn)行。如： 語義分割：Segnet、deeplabv1~deeplabv3、u-net等；實(shí)例分割：Mask-RCNN、PANet等

五、自然場(chǎng)景下的文字識(shí)別

人工智能提供了文本檢測(cè)定位（DB_TD500_resnet50、EAST）、文本識(shí)別的模塊（CRNN)，用戶可以使用該模塊實(shí)現(xiàn)自然場(chǎng)景下的中英文文字識(shí)別

應(yīng)用：身份證識(shí)別、表單識(shí)別、包裝盒標(biāo)簽檢測(cè)等

總結(jié)

可以通過鏈接進(jìn)行工具包的下載，如有問題可添加技術(shù)交流群進(jìn)行進(jìn)一步的探討，入群記得備注暗號(hào)：機(jī)器視覺愛好者。 qq群號(hào)：705637299