適合專利代理師看的神經(jīng)網(wǎng)絡(luò)模型

#文章由作者授權(quán)發(fā)布，未經(jīng)作者許可，禁止轉(zhuǎn)載，不代表IPRdaily立場(chǎng)#

原標(biāo)題：適合專利代理師看的神經(jīng)網(wǎng)絡(luò)模型

作為一個(gè)在籃球界深耕近二十年的專利代理師，經(jīng)常和同事吐槽工作中的各種正經(jīng)和不正經(jīng)的事（說到這里是不是以為筆者又要開始不正經(jīng)了），好的，筆者要開始正經(jīng)地扒“神經(jīng)網(wǎng)絡(luò)模型到底是怎么煉成的了”（大牛們看到這里就可以了，此文是專利代理師特供）。

神經(jīng)網(wǎng)絡(luò)模型是什么？

神經(jīng)網(wǎng)絡(luò)模型通常被視為聰明（無所不能）的黑盒子，給它喂什么樣的標(biāo)記樣本，它就能具備識(shí)別同類樣本的能力，但是執(zhí)著、較真、視客戶為上帝（負(fù)責(zé)任）的專利代理師是不會(huì)允許自己撰寫的專利文稿這么淺薄的，都恨不得把黑盒子拆開一個(gè)個(gè)分析其內(nèi)部每一部分的結(jié)構(gòu)、這部分結(jié)構(gòu)所提取的特征、它的權(quán)重是多少，說到這里，專利代理師是不是又要開始問：

神經(jīng)網(wǎng)絡(luò)模型到底是什么？

以神經(jīng)網(wǎng)絡(luò)模型從圖像中識(shí)別大白兔為例，其識(shí)別大白兔的大致過程是：將圖像分割成若干圖像塊，提取每個(gè)圖像塊具有的局部特征，再將這些圖像塊的局部特征匯總成全局特征，進(jìn)而完成大白兔的識(shí)別。整個(gè)過程中，神經(jīng)網(wǎng)絡(luò)模型的工作可以分成如下幾個(gè)主要步驟：

步驟1，卷積層提取特征

例如，上述待識(shí)別圖像大小為7*7，每個(gè)像素點(diǎn)內(nèi)都存儲(chǔ)著圖像的顏色值（如左側(cè)視圖），然后通過一個(gè)卷積核（如中間視圖，相當(dāng)于權(quán)重）從圖像中提取特征，卷積核與數(shù)字矩陣對(duì)應(yīng)位相乘再相加，得到卷積層輸出結(jié)果（如右側(cè)視圖）。

上述卷積核每和一個(gè)3*3的圖像塊完成卷積（此圖和上圖的卷積核不同，原諒筆者盜圖o(╯□╰)o）后向右移動(dòng)一個(gè)像素點(diǎn)，下圖示出了以步長為1（即每次卷積完后移動(dòng)一個(gè)像素）的完整卷積過程，當(dāng)所有的像素點(diǎn)都至少被覆蓋一次后，就可以產(chǎn)生一個(gè)卷積層的輸出：

神經(jīng)網(wǎng)絡(luò)模型初始時(shí)并不知道要識(shí)別哪些特征，而是通過比較不同卷積核的輸出來確定哪一個(gè)卷積核（該卷積核所識(shí)別的特征即所需的最能表現(xiàn)該圖像的特征），比如要識(shí)別圖像中曲線這一特征，那么某個(gè)卷積核的輸出值越高，就說明該卷積核與曲線這一特征的匹配程度就越高，越能表現(xiàn)該曲線特征。

當(dāng)上述卷積核識(shí)別到大白兔屁股（就是傳說中的曲線）的時(shí)候，卷積核與大白兔屁股區(qū)域數(shù)字矩陣相乘后輸出較大，而在該卷積核識(shí)別大白兔的耳朵的時(shí)候，輸出則可能很小。

此時(shí)就可以將這個(gè)卷積核保存用來識(shí)別曲線特征，采用同樣的方式能找出識(shí)別大白兔其他部位（特征）的卷積核，在此過程中，卷積層在訓(xùn)練時(shí)通過不斷的改變所使用的卷積核，來從中選取出與圖片特征最匹配的卷積核，進(jìn)而在圖片識(shí)別過程中利用這些卷積核的輸出來確定對(duì)應(yīng)的圖片特征。

步驟2，池化層處理

卷積層輸出的特征作為池化層的輸入，由于卷積核數(shù)量眾多，輸入的特征維度也很大，為了減少需要訓(xùn)練的參數(shù)數(shù)量和減小過擬合現(xiàn)象（過擬合時(shí)模型會(huì)過多的去注重細(xì)節(jié)特征，而不是共性特征，導(dǎo)致識(shí)別準(zhǔn)確率下降），可以只保留卷積層輸出的特征中有用的特征，而消除其中屬于噪聲的特征，既能減少噪聲傳送，還能降低特征維度。

池化層常見的兩種處理方式是：

最大池化（以步長為2示意）：

均值池化：

步驟3，全連接層處理

全連接層（fullyconnected layers，F(xiàn)C）在整個(gè)神經(jīng)網(wǎng)絡(luò)模型中相當(dāng)于“分類器”，通過卷積層和池化層的操作可將原始數(shù)據(jù)映射到隱層特征空間，全連接層將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間，即對(duì)于卷積層和池化層提取的有用的圖像特征（即局部特征），全連接層利用這些有用的圖像特征進(jìn)行分類，利用激活函數(shù)對(duì)匯總的局部特征進(jìn)行一些非線性變換，得到輸出結(jié)果。

說到這里，是不是覺得神經(jīng)網(wǎng)絡(luò)模型不僅僅是在獨(dú)立權(quán)利要求中寫個(gè)黑盒子就完了吧，不要說筆者沒有給出提示哦，對(duì)于不同的場(chǎng)景，識(shí)別過程中用到的卷積核、特征、各層的參數(shù)以及訓(xùn)練中卷積核的選擇、參數(shù)的訓(xùn)練、激活函數(shù)的作用都是不同的，利用這些不同可以完美地環(huán)繞在黑盒子周圍，保護(hù)著黑盒子（咳咳，未完待續(xù)）。  

來源：康信知識(shí)產(chǎn)權(quán)微信平臺(tái)

作者：曾軍

編輯：IPRdaily王穎          校對(duì)：IPRdaily縱橫君

推薦閱讀（點(diǎn)擊圖文，閱讀全文）

倒計(jì)時(shí)！2019年“知識(shí)產(chǎn)權(quán)服務(wù)萬里行”四川站，重磅來襲！

開年重磅！尋找40位40歲以下企業(yè)知識(shí)產(chǎn)權(quán)精英（40 Under 40）

“投稿”請(qǐng)投郵箱“iprdaily@163.com”

「關(guān)于IPRdaily」

IPRdaily成立于2014年，是全球影響力的知識(shí)產(chǎn)權(quán)媒體+產(chǎn)業(yè)服務(wù)平臺(tái)，致力于連接全球知識(shí)產(chǎn)權(quán)人，用戶匯聚了中國、美國、德國、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個(gè)國家和地區(qū)的高科技公司、成長型科技企業(yè)IP高管、研發(fā)人員、法務(wù)、政府機(jī)構(gòu)、律所、事務(wù)所、科研院校等全球近50多萬產(chǎn)業(yè)用戶（國內(nèi)25萬+海外30萬）；同時(shí)擁有近百萬條高質(zhì)量的技術(shù)資源+專利資源，通過媒體構(gòu)建全球知識(shí)產(chǎn)權(quán)資產(chǎn)信息第一入口。2016年獲啟賦資本領(lǐng)投和天使匯跟投的Pre-A輪融資。

（英文官網(wǎng)：iprdaily.com  中文官網(wǎng)：iprdaily.cn） 

本文來自康信知識(shí)產(chǎn)權(quán)微信平臺(tái)并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權(quán)利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場(chǎng)，如若轉(zhuǎn)載，請(qǐng)注明出處：“http://tjjsmcc.com/”