11 月初，我們發(fā)布了《攻略 | 雖然票早已被搶光，你可以從機器之心關(guān)注 NIPS 2017》。在 NIPS 2017 正式開始前，我們將選出數(shù)篇優(yōu)質(zhì)論文，邀請論文作者來做線上分享，聊聊理論、技術(shù)和研究方法。

本周將進行線上分享的第三期，機器之心邀請到了杜克大學(xué)博士生溫偉給我們介紹杜克大學(xué)的一篇NIPS 2017 Oral 論文。

日期：北京時間 11 月 26 日 20:30 至 21:30。

分享者簡介：溫偉，博士生四年級，現(xiàn)就讀于杜克大學(xué)，導(dǎo)師為李海教授和陳怡然教授。溫偉博士的研究方向主要是分布式機器學(xué)習(xí)、模型壓縮、結(jié)構(gòu)學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)理解。個人主頁：www.pittnuts.com。

演講主題：深度神經(jīng)網(wǎng)絡(luò) - 隨機三元化梯度下降和結(jié)構(gòu)化稀疏

演講摘要

1.TernGrad - 一種把梯度三元量化到{-1,0, 1}，以改善分布式深度學(xué)習(xí)的通信瓶頸，從而提高訓(xùn)練速度的方法；

TernGrad[1]是一種梯度量化方法，將浮點梯度隨機量化到{-1,0, 1}，在保證識別率的情況下，大大降低梯度通信量。TernGrad文章是NIPS 2017 Deep Learning track里的4篇orals之一；

2.SSL - 基于結(jié)構(gòu)化稀疏的深度神經(jīng)網(wǎng)絡(luò)加速方法。

本次分享的第二個主題是SSL[2]。相對于連接剪枝(ConnectionPruning)，SSL可以直接控制稀疏模式，避免稀疏權(quán)重隨機分布導(dǎo)致的計算效率低的問題。SSL是一個通用方法：在CNNs中，SSL可以去掉filters，channels，neurons，ResNets里的layers，學(xué)到非矩形的filter形狀，以及去掉權(quán)重矩陣里面的行和列。文章發(fā)表在NIPS 2016，并與微軟研究院-雷德蒙德合作，擴展到LSTMs并提交在某會議[3]。在LSTMs中，該方法可以有效地去掉hidden states，cells，gates和outputs，從而直接學(xué)到一個hidden size更小的LSTMs并不改變LSTMs內(nèi)部固有的結(jié)構(gòu)。

所有代碼均已開源[4][5][6]。

[1] Wei Wen, Cong Xu, Feng Yan,Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li, TernGrad: Ternary Gradients toReduce Communication in Distributed Deep Learning, NIPS 2017

[2] Wei Wen, Chunpeng Wu, YandanWang, Yiran Chen, Hai Li, Learning Structured Sparsity in Deep Neural Networks,NIPS 2016

[3] Wei Wen, Yuxiong He, SamyamRajbhandari, Wenhan Wang, Fang Liu, Bin Hu, Yiran Chen, Hai Li, LearningIntrinsic Sparse Structures within Long Short-Term Memory, arxiv preprint

[4] https://github.com/wenwei202/terngrad

[5] https://github.com/wenwei202/caffe

[6] https://github.com/wenwei202/iss-rnns

參與方式

線上分享將在「NIPS 2017 機器之心官方學(xué)霸群」中進行。加群方式：備注暗號：147，由小助手拉大家入群。

戳「閱讀原文」，查看機器之心 NIPS 2017 專題策劃并參與其中。

搜狐知道精品課推薦：物理精選8節(jié)課，秒殺高考提分20分——清華物理學(xué)霸【劉杰物理】