圖 1 腐蝕分類器訓練過程
Figure 1. Corrosion classifier training process
分享：基于圖像處理的金屬腐蝕等級評價方法
金屬腐蝕過程中,界面上存在化學和電化學多種反應[1]。腐蝕會顯著降低金屬材料的力學性能,破壞金屬構件的幾何形狀,縮短設備使用壽命,甚至造成災難性事故[2]。中國工程院2015年重點咨詢項目“中國腐蝕現狀與控制策略研究”的研究結果表明,中國每年因腐蝕造成的經濟損失約為21278億元,約占GDP的3.34%[3]。所以,解決金屬腐蝕問題迫在眉睫。
在研究金屬腐蝕問題的過程中,判斷金屬的腐蝕程度是不可或缺的工作。研究腐蝕發展程度對預測腐蝕行為、了解腐蝕機理和評價產品的可靠性有重要意義[4]。目前,對金屬材料的腐蝕等級一般采取人工判斷結合標準評價的方式。比如GJB 6461-2002《金屬基體上金屬和其他無機覆蓋層經腐蝕試驗后的試樣和試件的評級》中采用腐蝕面積對金屬試樣的腐蝕等級進行評價[5]。但是,這種評價方式檢測速度慢,檢測人員工作強度大,專業性要求高。特別是在腐蝕發生的早期,人工很難判定腐蝕發生的具體區域,而且腐蝕區域分布不均勻、形狀復雜,面積百分比難以獲取。
在金屬腐蝕的研究過程中,會獲取大量的金屬外觀圖像。在金屬腐蝕圖像中,存在大量與腐蝕相關的信息,如腐蝕坑的分布、形狀等[6-7]。此外,近年來機器視覺技術作為一種新興技術,伴隨著人工智能技術的快速發展而備受關注[8]。計算機視覺可以模擬人眼的視覺功能,并通過算法分析代替人工判斷,目前已經被廣泛應用于各種民用基礎設施的檢查與檢測任務中[9-10]。這使得基于圖像處理的金屬腐蝕檢測評估成為可能。
目前,以圖像處理的方式研究金屬腐蝕主要集中在腐蝕區域定位方面。早期的腐蝕區域定位主要采用純粹的圖像處理方式。HARALICK等[11]提出灰度共生矩陣來描述紋理特征,進行腐蝕檢測。GUNATILAKE等[12]利用COHEN[13]提出的六階小波對飛機外殼上的腐蝕進行檢測,使用的特征是從8×8的像素區域內獲取的能量值,腐蝕區域與未腐蝕區域采用最近鄰分類器進行分類。ITZHAK等[14]通過圖像二值化處理技術獲取不銹鋼腐蝕圖像呈現的孔蝕率特性。郭建斌等[15]通過圖像識別技術對水工鋼結構的腐蝕形貌特征及分布狀況進行定量化研究,并通過室內試驗對圖像識別技術進行驗證。然而,隨著深度學習的發展,現如今的缺陷檢測已經不僅僅局限于純粹的圖像處理,也有學者借助深度學習對缺陷區域進行定位。陳桂娟等[16]提出了以腐蝕圖像信息為特征、支持向量機為識別器的CO2腐蝕類型識別方法。陳法法等[17]針對傳統方法難以精確分割出金屬構件腐蝕區域特征的難題,構建了一種融合雙注意力機制和U-Net深度學習網絡的銹蝕圖像區域分割模型,結果表明所構建的模型能夠有效地從復雜背景圖像中分割出銹蝕區域特征。深度學習的引入大幅提高了腐蝕區域定位的準確性,但是對于金屬腐蝕等級的評估,卻少有人深入探討。而且,目前基于圖像處理的腐蝕等級評價方法主要基于腐蝕面積等單一指標進行評價,無法區分腐蝕程度不同的腐蝕區域,導致評價結果的準確度低,魯棒性較差[4]。因此,筆者將著重探討基于圖像處理的多指標金屬腐蝕等級快速評價方法。
本文先用基于滑動窗口法的卷積神經網絡對金屬外觀圖像中的腐蝕區域進行定位,然后提出一種基于標準色圖譜信息表的腐蝕等級評價方法,實現對腐蝕特征信息的數字化和定量化。與傳統的人工評價方式相比,本文所采用的方法未受到評價人員經驗因素的影響,提高了腐蝕等級評價的準確性和評價速度。同時,降低了檢測人員的勞動強度。此外,借助機器視覺高分辨率的特點,也可以對腐蝕的早期圖像進行識別,對腐蝕等級進行精確評價。
1. 腐蝕區域定位
為了提取腐蝕區域的特征參數,需要對金屬外觀圖像中的腐蝕區域進行定位,使后續的特征提取范圍更有針對性,從而提高特征參數提取的準確性。腐蝕區域定位屬于機器視覺表面缺陷檢測的應用。機器視覺表面缺陷檢測在很多行業均有應用,涉及印刷[18]、電子[19]等多種行業和產品。腐蝕區域的準確定位是腐蝕等級評價結果準確的重要保證。
1.1 訓練腐蝕分類器
采用卷積神經網絡進行腐蝕區域定位首先要訓練腐蝕分類器,即輸入圖片之后,腐蝕分類器可以判定該圖片中的區域是否發生腐蝕。訓練腐蝕分類器的過程如圖1所示。將收集到的圖片分割成小圖片,然后人工分成腐蝕和未腐蝕的類型,生成訓練集和測試集,利用卷積神經網絡訓練生成腐蝕分類器。
1.1.1 制作數據集
基于以往環境試驗中的金屬腐蝕圖像進行數據集的制作,圖2為部分未腐蝕和腐蝕區域的原始圖片。
圖 2 數據集的原始圖像
Figure 2. Original image of data se
將原始圖像分割成32×32像素的小圖片,作為卷積神經網絡的輸入。圖3為部分分割后的32×32像素的小圖片。對所有原始圖片進行分割,共獲取61 981張小圖片,然后隨機挑選其中的49 983張圖片作為訓練集,其中28 083張圖片為未腐蝕,21 900張圖片為腐蝕。其他11 998張圖片作為測試集,其中7 043張圖片為未腐蝕,4 955張為腐蝕。
圖 3 分割后圖片
Figure 3. Segmented image
1.1.2 搭建卷積神經網絡
由于所需的腐蝕分類器為二分類,且為了減少所需訓練圖片的數量和加速腐蝕區域定位的速度,采用TensorFlow搭建了如圖4所示的較為簡單的卷積神經網絡結構。該網絡結構共包括五層,其中前兩層為卷積層,包括卷積和池化兩個步驟；后三層為全連接層。該結構采用Relu作為激活函數,最終通過Softmax函數進行輸出,判斷輸入的圖片是否發生腐蝕。表1為該卷積神經網絡每層的詳細結構參數。
圖 4 卷積神經網絡結構
Figure 4. Convolutional neural network architecture
表 1 卷積神經網絡每層的詳細結構參數
Table 1. Detailed structural parameters of each layer of convolutional neural network
| 卷積網絡結構 | 輸入 | 核尺寸 | 核數/個 | 步長 | 輸出 | 變量數/個 |
|---|---|---|---|---|---|---|
| 卷積層1 | 32×32×3 | 5×5×3 | 6 | 1 | 28×28×6 | 456 |
| 池化層1 | 28×28×6 | 2×2×1 | — | 2 | 14×14×6 | — |
| 卷積層2 | 14×14×6 | 5×5×6 | 16 | 1 | 10×10×16 | 2416 |
| 池化層2 | 10×10×16 | 2×2×1 | — | 2 | 5×5×16 | — |
| 全連接層1 | 5×5×16 | — | — | — | 120 | 48 120 |
| 全連接層2 | 120 | — | — | — | 40 | 4 840 |
| 全連接層3 | 40 | — | — | — | 2 | 82 |
圖5為卷積神經網絡訓練過程中訓練集和測試集準確率和損失的折線圖?？梢钥闯?本文選取的卷積神經網絡結構取得了很好的圖像腐蝕判定效果。經過10次左右的訓練之后,可以在測試集上獲取到較高的準確率和較低的損失。
圖 5 卷積神經網絡訓練過程中訓練集和測試集準確率和損失的折線圖
Figure 5. The line chart of accuracy (a) and loss (b) of training set and test set in the training process of convolutional neural network
1.2 滑動窗口法取樣
圖6為滑動窗口法取樣示意圖,取樣時采用尺寸為a×b的小窗口在原始圖像上逐步滑動進行取樣。取樣窗口初始位置為1,窗口以距離c逐步向右滑動到位置2、3,每次滑動之后對取樣窗口內的圖像進行取樣。當窗口滑動到原始圖像最右端的位置3時,再以距離d向下滑動到位置4,從左到右再次取樣,直至取樣窗口在整幅原始圖像上完成滑動。
圖 6 滑動窗口法取樣示意圖
Figure 6. Schematic diagram of sampling by sliding window method
1.3 定位結果分析
圖7為利用腐蝕分類器和滑動窗口法進行腐蝕區域定位的流程。首先,采用8×8像素的滑動窗口在金屬外觀圖像上進行取樣,然后采用雙線性插值將其放大至32×32像素的圖像,再使用腐蝕分類器對放大后的圖像進行腐蝕情況判定,若發生腐蝕則保留金屬外觀圖像中該小圖像對應的區域,否則將對應的區域轉化為黑色的背景。將整幅金屬外觀圖像的腐蝕區域定位完之后,即可得到腐蝕區域圖像。
圖 7 腐蝕區域定位流程示意圖
Figure 7. Schematic diagram of process for locating corroded areas
部分金屬外觀圖像腐蝕區域定位前后的效果如表2所示,采用交并比對腐蝕區域定位的準確性進行衡量。可以看出,所有圖片的交并比均大于0.95,所以本文使用的方法不僅對腐蝕色差較為明顯的黑色金屬具有良好的腐蝕區域定位效果,對于鋁、鋅等白色腐蝕產物與基體色差較弱的情況同樣適用。
表 2 腐蝕區域定位效果及交并比
Table 2. Corrosion area positioning effect and intersection ratio
| 金屬外觀圖像 | 腐蝕區域圖像 | 交并比 |
|---|---|---|
|
|
0.960 |
|
|
0.966 |
|
|
0.955 |
|
|
0.957 |
|
|
0.952 |
|
|
0.953 |
|
|
0.971 |
2. 腐蝕等級評價
為了評價產品的耐蝕性,需要對完成環境試驗后的金屬進行腐蝕等級評價,然后根據該結果對金屬的環境適應性進行評價。傳統的腐蝕等級評價方式多為定性的評價方法,通過單一的評價指標如腐蝕面積、質量變換率、腐蝕速率等進行評價,或者直接根據評價人員的個人經驗進行腐蝕等級判定。因此,傳統人工評價方式指標單一,主觀性強且準確性較低。為此,本文同時根據腐蝕面積和顏色對腐蝕等級進行評價,通過腐蝕區域內部顏色的差異進行腐蝕程度的衡量,從而分成腐蝕程度不同的小區域,最后對整個腐蝕區域的等級進行綜合評價,使得評價結果具有較好的客觀性和準確性。
2.1 顏色聚類
以往僅依靠腐蝕面積作為特征參數進行腐蝕等級評價,忽略了腐蝕區域內各部分腐蝕程度不同的問題[20]。通常情況下,同種金屬材料腐蝕程度不同時表現出的顏色也有差異。所以,本文采用顏色作為特征參數對不同的腐蝕程度區域進行表征。采用K-Means聚類算法對腐蝕區域內部的像素進行顏色聚類,將顏色相近的像素聚集到一個聚類中心,表征其代表的腐蝕程度相近。
2.2 訓練標準色圖譜信息表
將所有腐蝕區域內的像素聚類后,可以獲取數個聚類中心。為了衡量每個聚類中心的腐蝕程度,需要獲取標準色圖譜信息表,標準色圖譜信息表中的部分標準色如圖8所示。此外,每一個標準色都有一個腐蝕程度因子與之對應,腐蝕程度因子越大,該標準色對應的腐蝕程度越大。
圖 8 部分標準色
Figure 8. Partial standard color
2.2.1 選擇標準色
對標準色圖譜信息表進行訓練首先要進行標準色的選擇。為了選擇出具有腐蝕代表性的標準色,本文采取直方圖結合聚類算法的方式進行標準色選取。圖9為單張金屬腐蝕區域圖像各分量的直方圖,可以看出各分量的直方圖基本符合正態分布,因此采用分位數進行標準色選擇。
圖 9 各分量的灰度值直方圖
Figure 9. Gray value histogram of each component: (a) R component; (b) G component; (c) B component
每隔總數量的10%進行一次標準色的選取,即選取總數量的10%、20%…90%分位數對應的灰度值作為對應分量的標準色。然后,隨機選取20張腐蝕區域圖片,采用直方圖分位數法選擇標準色。為了獲取可以對腐蝕區域進行最準確描述的標準色,采用顏色聚類將這20張圖片的R、G、B分量的分位數灰度值聚成9類,再以灰度值0和255作為最終的標準色,共113=1 331個,如表3所示。
表 3 最終選擇的標準色灰度值
Table 3. The final selection of standard color gray value
| 分量 | 標準色灰度值 | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R | 0 | 60 | 81 | 103 | 124 | 145 | 163 | 180 | 205 | 227 | 255 | ||||
| G | 0 | 48 | 60 | 71 | 83 | 94 | 106 | 118 | 130 | 142 | 255 | ||||
| B | 0 | 24 | 36 | 46 | 55 | 64 | 73 | 83 | 92 | 105 | 255 | ||||
2.2.2 訓練腐蝕程度因子
采用已經標定過腐蝕等級的圖片,對標準色圖譜信息表中的腐蝕程度因子進行訓練。具體的訓練公式見式（1）。
|
|
(1) |
式中：Fx+1為訓練之后的腐蝕程度因子；Fx為訓練之前的腐蝕程度因子；r為學習率,取值范圍為0~1;G0為圖片標定的腐蝕等級；G1為按照目前的腐蝕程度因子進行評價的腐蝕等級；P為圖片中腐蝕區域的面積百分比。
對于標準色圖譜信息表中的腐蝕程度因子隨機初始化后,采用前期使用三維形貌儀和X射線能譜分析標定腐蝕等級的圖片,根據訓練公式對腐蝕程度因子進行訓練,即可獲得最終的標準色圖譜信息表。
2.3 評價結果分析
完成腐蝕區域像素聚類和標準色圖譜信息表的訓練之后,可進行腐蝕等級評價。首先通過最小歐式距離尋找每個聚類中心對應的標準色,即遍歷標準色求取與聚類中心的歐式距離,選取最小歐式距離對應的標準色替代聚類中心顏色并進行之后的腐蝕等級評價。歐式距離的計算公式見式（2）。
|
|
(2) |
式中：r1、g1和b1均為聚類中心的顏色分量；r2、g2和b2均為標準色的顏色分量。
然后,根據公式（3）進行腐蝕等級結果評價。
|
|
(3) |
式中：G為腐蝕等級評價結果；Pi為每一個聚類中心像素數量占產品外觀圖像像素數量的百分比；Fi為距聚類中心歐氏距離最近的標準色對應的腐蝕程度因子。
采用圖像處理的方式對本文選取50張標定腐蝕等級的圖片進行腐蝕等級評價,部分圖片的腐蝕等級評價結果和代表性評價參數如表4所示。結果顯示,其中48張圖片的腐蝕等級評價結果與標定等級相同,準確率達到96%。因此,利用圖像處理的方式對金屬腐蝕等級進行評價的準確率較高,相較于人工評價方式效率高且客觀性強。
表 4 腐蝕等級評價結果
Table 4. Corrosion grade evaluation results
| 金屬外觀圖像 | 腐蝕區域圖像 | 評價代表參數 | 標定等級 | 評價等級 | ||
|---|---|---|---|---|---|---|
| 總腐蝕面積/% | 最大聚類中心 | |||||
| 面積/% | R、G、B | |||||
|
|
26.10 | 4.29 | [209,163,118] | 2級 | 2級 |
|
|
46.75 | 8.62 | [137,82,72] | 0級 | 0級 |
|
|
49.68 | 7.94 | [97,60,49] | 0級 | 0級 |
|
|
35.38 | 6.12 | [123,98,69] | 1級 | 1級 |
|
|
32.84 | 6.11 | [127,104,75] | 1級 | 1級 |
3. 結論
提出一種多指標評價方法,開展金屬腐蝕等級的定量化評價。該方法利用卷積神經網絡和滑動窗口法實現腐蝕特征分類及腐蝕區域定位,定位結果的交并比均大于0.95。此外,該方法是基于顏色聚類算法對不同腐蝕程度的腐蝕區域進行區分的,再結合訓練后的標準色圖譜信息表,實現對腐蝕等級的多指標快速評價,評價結果的準確率為96%。相較于傳統的人工結合標準的評價方式,利用圖像處理的方式評價效率高、準確性高和客觀性強。
文章來源——材料與測試網
下一篇：已經是最后一篇了
上一篇：分享：事故容錯燃料包殼材料在水化學環境中的動水腐蝕試驗
浙公網安備 33042402000106號
