期刊在線咨詢服務(wù)，立即咨詢
購(gòu)物車(0)
卷積核歸一化
關(guān)鍵詞：卷積核歸一化 批量歸一化 內(nèi)部協(xié)方差位移 卷積神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)
摘要：批量歸一化已被證明是深度學(xué)習(xí)模型中不可或缺的一層,可以有效處理深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的內(nèi)部協(xié)方差位移問題。但批量歸一化算法的效果依賴于批的大小,當(dāng)批較小時(shí),批量歸一化的效果較差。此外,批量歸一化也帶來(lái)了額外的計(jì)算量,需要更多的存儲(chǔ)空間。為了解決這些問題,文中提出一種新的歸一化算法——卷積核歸一化,對(duì)權(quán)重的輸出通道進(jìn)行歸一化,同樣可以有效解決內(nèi)部協(xié)方差位移問題。卷積核歸一化不依賴于批的大小,并且不需要計(jì)算輸入的均值和方差,相比批量歸一化減少了75%至81%的計(jì)算量。實(shí)驗(yàn)證明,在批較小的時(shí)候,卷積核歸一化訓(xùn)練收斂速度較快且準(zhǔn)確率較高,比批量歸一化高0.9%至12%;在批較大的時(shí)候,卷積核歸一化與批量歸一化最高準(zhǔn)確率誤差不超過1%。
計(jì)算機(jī)技術(shù)與發(fā)展雜志要求:
{1}參考文獻(xiàn)著錄格式請(qǐng)參照國(guó)家標(biāo)準(zhǔn)《文后參考文獻(xiàn)著錄規(guī)則》(GB7714-87)。
{2}鼓勵(lì)首發(fā)，反對(duì)抄襲、剽竊等侵犯他人著作權(quán)的行為。由此給本刊造成不良后果的，本刊將追究責(zé)任。
{3}本刊稿件從發(fā)表之日起，如無(wú)電子版、網(wǎng)絡(luò)版、有聲版等方面特殊說(shuō)明，即視作投稿者同意授權(quán)本刊電子版、網(wǎng)絡(luò)版、有聲版等的復(fù)制權(quán)、匯編權(quán)、發(fā)行權(quán)、翻譯權(quán)、信息網(wǎng)絡(luò)傳播權(quán)及其轉(zhuǎn)授權(quán)等專著權(quán)。
{4}中文題名一般不超過20個(gè)漢字，一般不使用副題名，中英文題名含義一致。
{5}投稿請(qǐng)?zhí)顚懻鎸?shí)有效的詳細(xì)地址、郵政編碼、聯(lián)系電話及E-mail，以便聯(lián)系。
注：因版權(quán)方要求，不能公開全文，如需全文，請(qǐng)咨詢雜志社
