應(yīng)用方向：
本文將顯微高光譜成像技術(shù)應(yīng)用于白細(xì)胞的快速檢測(cè)與分類(lèi)識(shí)別，充分發(fā)揮了高光譜圖像在獲取細(xì)胞空間結(jié)構(gòu)與光譜特征信息上的雙重優(yōu)勢(shì)。通過(guò)高分辨率的顯微成像，系統(tǒng)可在納米級(jí)尺度下對(duì)血液涂片中的白細(xì)胞進(jìn)行成像，實(shí)現(xiàn)對(duì)細(xì)胞中蛋白質(zhì)、酶類(lèi)等成分差異的敏感響應(yīng)。與傳統(tǒng)基于RGB圖像的檢測(cè)方法相比，顯微高光譜技術(shù)能更準(zhǔn)確地區(qū)分形態(tài)相近、色澤相似的細(xì)胞類(lèi)型。此外，研究還表明，該技術(shù)在結(jié)合深度學(xué)習(xí)模型后，可實(shí)現(xiàn)自動(dòng)化、精準(zhǔn)化、可解釋的細(xì)胞識(shí)別，為血液學(xué)領(lǐng)域的智能輔助診斷提供了新路徑，也展示了顯微高光譜在臨床檢驗(yàn)、細(xì)胞分類(lèi)、疾病篩查等場(chǎng)景中的應(yīng)用潛力。
導(dǎo)讀
背景：白細(xì)胞（WBCs）作為血液中的重要組成部分，在機(jī)體免疫防御中發(fā)揮著核心作用，其數(shù)量和形態(tài)特征常用于疾病診斷與健康評(píng)估。然而，傳統(tǒng)的白細(xì)胞檢測(cè)方法多依賴(lài)人工顯微鏡觀察，如直接血細(xì)胞計(jì)數(shù)和分類(lèi)計(jì)數(shù)等，這不僅操作復(fù)雜、效率低下，而且極易受到操作者主觀判斷影響，尤其在面對(duì)大量樣本時(shí)容易出錯(cuò)。盡管近年來(lái)圖像識(shí)別與計(jì)算機(jī)視覺(jué)技術(shù)已被廣泛應(yīng)用于血細(xì)胞自動(dòng)檢測(cè)，如基于支持向量機(jī)（SVM）或深度學(xué)習(xí)的圖像分割與識(shí)別方法，但這類(lèi)方法通常僅依賴(lài)細(xì)胞圖像的空間特征，難以從根本上解決小樣本和類(lèi)別間差異不明顯所導(dǎo)致的泛化能力不足的問(wèn)題。此外，圖像采集過(guò)程中如顯微鏡光照條件、載玻片厚度等環(huán)境因素也容易干擾檢測(cè)結(jié)果。
高光譜成像（HSI）技術(shù)的興起為解決上述問(wèn)題提供了新思路。該技術(shù)融合了圖像與光譜信息，能獲取目標(biāo)在空間和光譜維度的豐富特征，在醫(yī)學(xué)圖像分析中表現(xiàn)出顯著優(yōu)勢(shì)。然而，傳統(tǒng)HSI處理流程中往往需要人工劃定感興趣區(qū)域（ROI），限制了其在快速檢測(cè)場(chǎng)景下的應(yīng)用。因此，本文提出結(jié)合高光譜顯微成像系統(tǒng)（HMI）與多數(shù)據(jù)融合的Faster RCNN模型，實(shí)現(xiàn)對(duì)白細(xì)胞的快速、自動(dòng)化識(shí)別，通過(guò)融合光譜和圖像信息，提升模型的識(shí)別精度與魯棒性。這一研究不僅有助于提高白細(xì)胞檢測(cè)的效率和準(zhǔn)確性，也為其他類(lèi)型的生物醫(yī)學(xué)影像分析提供了參考路徑。
作者信息：王慧慧，大連工業(yè)大學(xué)，博士生導(dǎo)師
期刊來(lái)源：Sensors and Actuators: B. Chemical
研究?jī)?nèi)容
本研究旨在提升白細(xì)胞檢測(cè)的自動(dòng)化水平和識(shí)別準(zhǔn)確性，提出了一種結(jié)合高光譜顯微成像系統(tǒng)（HMI）與多數(shù)據(jù)融合的Faster RCNN深度學(xué)習(xí)模型。本文充分利用高光譜成像可同時(shí)獲取圖像與光譜信息的優(yōu)勢(shì)，構(gòu)建了一個(gè)聯(lián)合分析模型。作者分別設(shè)計(jì)了基于光譜數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡(luò)（1-D CNN）與基于偽彩色圖像的Faster RCNN模型，用于單一模態(tài)下的分類(lèi)性能分析。進(jìn)一步地，提出融合兩種模態(tài)的Multi-data Faster RCNN模型，在Faster RCNN中引入1-D CNN光譜特征提取模塊，并通過(guò)特征拼接實(shí)現(xiàn)圖像與光譜信息的聯(lián)合識(shí)別。
實(shí)驗(yàn)設(shè)計(jì)
本研究使用的血涂片樣本由大連市第二醫(yī)院血液科提供，樣本在送檢前已完成染色處理（圖1（a））。高光譜數(shù)據(jù)采集采用圖1（b）所示系統(tǒng)完成，構(gòu)建包含五類(lèi)白細(xì)胞的標(biāo)注數(shù)據(jù)集，所有圖像數(shù)據(jù)均由專(zhuān)業(yè)醫(yī)務(wù)人員進(jìn)行標(biāo)注。
本研究采用的高光譜顯微成像（HMI）系統(tǒng)如圖1(b)所示，該系統(tǒng)主要由以下組件構(gòu)成：1）Image-λ-N17E近紅外高光譜成像系統(tǒng)（江蘇雙利合譜科技有限公司）；2）配備金屬鹵素光源的三目生物顯微鏡。實(shí)驗(yàn)采用暗場(chǎng)成像模式，曝光時(shí)間設(shè)置為10 ms。如圖1(c)所示，所獲取的高光譜數(shù)據(jù)立方體包含360個(gè)單波段圖像（波長(zhǎng)范圍382.3-1020.2 nm，光譜分辨率1.8 nm），每個(gè)單波段圖像的尺寸為960（寬）×1101（高）像素。
由于高光譜圖像數(shù)據(jù)占用內(nèi)存較大，而顯微鏡獲取的每張?jiān)紙D像的邊緣區(qū)域都是純黑的無(wú)用區(qū)域，因此從每張圖像的中心切割出一個(gè)600 × 600 像素的區(qū)域來(lái)制作數(shù)據(jù)集，以保證盡可能多的血細(xì)胞被保存在該區(qū)域內(nèi)。
圖1. 主要研究流程圖：(a) 血涂片；(b) 高光譜成像系統(tǒng)（HMI）；(c) 高光譜圖像；(d) 分類(lèi)標(biāo)簽；(e) 模型與結(jié)果。
研究方法
本研究的預(yù)測(cè)集白細(xì)胞數(shù)量為90個(gè)，校正集與預(yù)測(cè)集的比例控制在約3:1。此外，在每個(gè)訓(xùn)練周期中，模型會(huì)以0.1的比例從校正集隨機(jī)劃分驗(yàn)證集，以提升模型的泛化能力。
針對(duì)白細(xì)胞高光譜圖像的光譜數(shù)據(jù)，本研究參考VGG16模型構(gòu)建了一維CNN網(wǎng)絡(luò)結(jié)構(gòu)。該架構(gòu)不僅能有效提取白細(xì)胞光譜數(shù)據(jù)中的深層特征信息，同時(shí)最大限度降低了模型復(fù)雜度。如圖2所示，網(wǎng)絡(luò)具體結(jié)構(gòu)包含13個(gè)采用ReLU激活函數(shù)的一維卷積層（1-D Conv）、5個(gè)最大池化層以及2個(gè)全連接層（Dense）。圖中各層頂部數(shù)值表示特征圖數(shù)量，底部數(shù)值則對(duì)應(yīng)卷積層編號(hào)及該層卷積核數(shù)量。網(wǎng)絡(luò)輸入數(shù)據(jù)為通過(guò)分析軟件從高光譜圖像中提取的、包含360個(gè)波段的平均光譜反射率數(shù)據(jù)。
圖2. 基于光譜數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡(luò)（1-D CNN）結(jié)構(gòu)。
針對(duì)白細(xì)胞高光譜圖像的特征檢測(cè)，本研究構(gòu)建了基于Faster RCNN的檢測(cè)框架。作為Fast RCNN的改進(jìn)版本，該框架結(jié)構(gòu)如圖3所示，通過(guò)二維卷積層（2D-Conv）、最大池化層（Max Pooling）和全連接層（Dense）實(shí)現(xiàn)白細(xì)胞的特征提取、定位與分類(lèi)。其中，特征提取網(wǎng)絡(luò)采用Resnet18架構(gòu)，該網(wǎng)絡(luò)能實(shí)現(xiàn)更深層次的特征提取，顯著提升白細(xì)胞類(lèi)別間差異不明顯數(shù)據(jù)的識(shí)別精度。Faster RCNN的核心優(yōu)勢(shì)在于其區(qū)域提議網(wǎng)絡(luò)（RPN），該網(wǎng)絡(luò)能大幅提升白細(xì)胞等微小目標(biāo)的檢測(cè)能力。
圖3. Faster R-CNN的結(jié)構(gòu)。
基于多源數(shù)據(jù)融合的聯(lián)合檢測(cè)方法能夠降低模型對(duì)單一數(shù)據(jù)類(lèi)型的依賴(lài)性，顯著提升識(shí)別精度和模型穩(wěn)定性。為此，本研究對(duì)原Faster RCNN網(wǎng)絡(luò)進(jìn)行改進(jìn)：通過(guò)在網(wǎng)絡(luò)結(jié)構(gòu)中新增光譜數(shù)據(jù)提取模塊、一維CNN光譜特征提取網(wǎng)絡(luò)以及特征融合層（Concatenate），構(gòu)建了多數(shù)據(jù)融合的Faster RCNN檢測(cè)模型（如圖4所示）。主要改進(jìn)包括：在ROI池化層后接入光譜特征提取模塊，以建議框坐標(biāo)作為輸入截取白細(xì)胞高光譜圖像對(duì)應(yīng)區(qū)域，計(jì)算該區(qū)域的平均光譜反射率作為一維CNN網(wǎng)絡(luò)的輸入數(shù)據(jù)。經(jīng)一維CNN提取的光譜特征通過(guò)Concatenate層與圖像空間特征進(jìn)行融合，最終基于融合特征完成白細(xì)胞分類(lèi)。
圖4. 多數(shù)據(jù)Faster R-CNN的流程。
之后采用Grad-CAM算法對(duì)解釋CNN對(duì)WBC特征的學(xué)習(xí)結(jié)果，并驗(yàn)證其對(duì)WBC分類(lèi)結(jié)果的準(zhǔn)確性。采用Precision、Recall、F1 score、AP和mAP作為WBC檢測(cè)的評(píng)價(jià)指標(biāo)。
結(jié)果
針對(duì)一維光譜數(shù)據(jù)，本研究構(gòu)建了1-D CNN白細(xì)胞檢測(cè)模型。模型在第20個(gè)周期左右基本收斂，校準(zhǔn)集和驗(yàn)證集的最終損失值分別穩(wěn)定在0.19和0.26，表明1-D CNN對(duì)白細(xì)胞光譜數(shù)據(jù)具有優(yōu)異的適應(yīng)性和分類(lèi)能力。各類(lèi)別的識(shí)別準(zhǔn)確率均達(dá)到90%以上，且未出現(xiàn)過(guò)擬合現(xiàn)象，證實(shí)了模型良好的泛化能力。所有分類(lèi)類(lèi)別的F1分?jǐn)?shù)均超過(guò)0.9，AP值也均保持在0.9以上。這些結(jié)果充分證明，基于光譜反射數(shù)據(jù)構(gòu)建的1-D CNN模型在白細(xì)胞分類(lèi)任務(wù)中表現(xiàn)出卓*的穩(wěn)定性和分類(lèi)性能。
在本研究中，二維偽彩色圖像被應(yīng)用于Faster R-CNN白細(xì)胞檢測(cè)建模。模型主要關(guān)注400–570納米和640–700納米這兩個(gè)波段范圍。這兩個(gè)范圍內(nèi)的波段被模型賦予了更高的權(quán)重，因?yàn)樗鼈儼烁嘤糜诎准?xì)胞識(shí)別的特征信息。作為一種目標(biāo)檢測(cè)網(wǎng)絡(luò)模型，F(xiàn)aster R-CNN能夠有效識(shí)別微小尺寸目標(biāo)，特別適用于顯微檢測(cè)場(chǎng)景。圖5展示了基于Faster R-CNN模型對(duì)兩幅不同圖像中五類(lèi)白細(xì)胞的檢測(cè)結(jié)果。圖中采用不同顏色的檢測(cè)框標(biāo)注各類(lèi)白細(xì)胞，并在檢測(cè)框上方顯示對(duì)應(yīng)的預(yù)測(cè)類(lèi)別及置信度評(píng)分。實(shí)驗(yàn)結(jié)果表明，該模型能準(zhǔn)確區(qū)分不同類(lèi)別的白細(xì)胞，并保持較高的檢測(cè)精度。
圖5. 基于偽彩色圖像的Faster R-CNN檢測(cè)白細(xì)胞的結(jié)果。
從模型訓(xùn)練的角度來(lái)看，總損失值在前20個(gè)訓(xùn)練周期內(nèi)迅速下降，隨后趨于平穩(wěn)，并在大約80個(gè)訓(xùn)練周期后基本收斂，這證明了Faster R-CNN在這種白細(xì)胞圖像數(shù)據(jù)集中的可行性。與1-D CNN相比，F(xiàn)aster R-CNN不僅在訓(xùn)練過(guò)程中收斂速度更慢，而且在Neu和Eos的分類(lèi)準(zhǔn)確率上也明顯較低。所有白細(xì)胞分類(lèi)的F1分?jǐn)?shù)和AP均高于0.85，其中Bas的F1分?jǐn)?shù)和AP分別達(dá)到了0.957和0.999，這證明了Faster R-CNN在預(yù)測(cè)白細(xì)胞方面的整體性能良好。
圖6詳細(xì)展示了多數(shù)據(jù)Faster R-CNN的性能。圖6(a)展示了訓(xùn)練過(guò)程中總損失值的變化。當(dāng)訓(xùn)練周期達(dá)到40時(shí)，校準(zhǔn)集和驗(yàn)證集的總損失值分別下降了0.008和0.03，并隨后趨于穩(wěn)定，這表明模型的訓(xùn)練效果良好。圖6(b)詳細(xì)展示了白細(xì)胞的分類(lèi)結(jié)果。與前兩種模型相比，可以看Lym或Mon的分類(lèi)準(zhǔn)確率有所提高。此外，各分類(lèi)之間的混淆也減少了，這表明該模型的預(yù)測(cè)能力得到了提升。
圖6. 多數(shù)據(jù)Faster R-CNN的結(jié)果：(a) 訓(xùn)練過(guò)程中的總損失曲線；(b) 分類(lèi)結(jié)果的混淆矩陣；(c) 每個(gè)分類(lèi)的精確率-召回率（PR）曲線。
對(duì)多數(shù)據(jù)Faster R-CNN的分類(lèi)性能進(jìn)行綜合分析。*顯著的改進(jìn)是Lym和Mon的AP值大幅提升，分別達(dá)到了0.917和0.911。融合特征的分類(lèi)不僅減少了白細(xì)胞之間的誤判，還有效減少了背景與白細(xì)胞目標(biāo)之間的誤判。這證明了多數(shù)據(jù)聯(lián)合檢測(cè)相較于單一數(shù)據(jù)檢測(cè)的可行性和優(yōu)勢(shì)。
圖7展示了多數(shù)據(jù)Faster R-CNN在預(yù)測(cè)集中獲得的類(lèi)別激活映射（CAM）熱力圖，這是聯(lián)合檢測(cè)模型對(duì)白細(xì)胞光譜反射率（圖7(a)）和圖像特征（圖7(b)）的權(quán)重可視化。與單一數(shù)據(jù)1-D CNN關(guān)注的400–570納米和640–700納米波段范圍相比，多數(shù)據(jù)Faster R-CNN模型在融合特征的引導(dǎo)下，關(guān)注了更廣泛的380–570納米和640–950納米波段范圍。
圖7. 多數(shù)據(jù)Faster R-CNN在預(yù)測(cè)集中生成的Grad-CAM：(a) 基于光譜波長(zhǎng)；(b) 白細(xì)胞的圖像。
結(jié)論
在本研究中，基于深度學(xué)習(xí)框架，提出了單數(shù)據(jù)檢測(cè)模型（1-D CNN和Faster R-CNN）以及多數(shù)據(jù)聯(lián)合檢測(cè)模型（多數(shù)據(jù)Faster R-CNN），以協(xié)助HMI進(jìn)行白細(xì)胞檢測(cè)。對(duì)于基于光譜反射率數(shù)據(jù)的1-D CNN，每個(gè)分類(lèi)的F1分?jǐn)?shù)和AP均超過(guò)0.9，mAP達(dá)到了0.956，這證明了光譜數(shù)據(jù)在白細(xì)胞分類(lèi)中的可行性。隨后，利用Faster R-CNN基于圖像特征對(duì)白細(xì)胞進(jìn)行定位和分類(lèi)，該模型在細(xì)胞定位方面表現(xiàn)出色，但其對(duì)Lym和Mon的F1分?jǐn)?shù)和AP甚至未能超過(guò)0.9。相比之下，多數(shù)據(jù)Faster R-CNN模型的每個(gè)F1分?jǐn)?shù)和AP均超過(guò)0.9，mAP甚至達(dá)到了0.962。這一顯著性能主要?dú)w功于兩種數(shù)據(jù)類(lèi)型的互補(bǔ)性，使得模型能夠產(chǎn)生比單一數(shù)據(jù)源更準(zhǔn)確、更完整且更可靠的估計(jì)和區(qū)分。與現(xiàn)有的白細(xì)胞檢測(cè)方法相比，多數(shù)據(jù)Faster R-CNN能夠?qū)崿F(xiàn)大量白細(xì)胞樣本的自動(dòng)且快速檢測(cè)。此外，引入HMI可獲取高質(zhì)量的細(xì)胞高光譜圖像，從而顯著提高了檢測(cè)的準(zhǔn)確性。最重要的是，其可行性和優(yōu)勢(shì)已得到驗(yàn)證，這可能為其他生物檢測(cè)提供寶貴的參考。
© 2019 版權(quán)所有：江蘇雙利合譜科技有限公司 備案號(hào)：蘇ICP備2021046114號(hào)-3 技術(shù)支持：化工儀器網(wǎng) GoogleSitemap 管理登陸
在線客服