“鼎新北科--自動化”名家講壇 2020控制專題（六）

2020年8月17日至28日，自動化學院舉辦“鼎新北科——自動化”名家講壇系列報告。8月25日進行了專題三的第三場講座（總第43講），主講人為南京信息工程大學袁曉彤教授。會議由學院院長張朝暉教授致辭、智能科學與技術系樊彬教授主持，學院黨委書記李擎、智能科學與技術系副主任劉冀偉及100余名師生參加了會議。

 

 

 

袁教授的報告以“隨機稀疏學習算法及其在深度網絡剪枝中的應用”為題，針對稀疏約束統計學習模型的高效計算問題，探討了基于分布式和隨機梯度下降的稀疏優化算法。在當前機器學習應用的規模越來越大的背景下，為了提高計算效率，袁教授向我們介紹了“稀疏”這一先驗假設，它可以很好地符合人的認知機制，同時更好地進行對高維數據的低維結構的捕捉，從而大大加快了大規模機器學習的效率。

 

 

 

在利用稀疏學習算法的前提下，袁教授所在團隊主要研究了兩種優化算法：一種是基于混合隨機梯度的快速閾值追蹤算法，這種算法的思想是使用大小隨時間變化的mini-batch來優化迭代復雜度；另一種是基于近似牛頓估計的通信高效分布式優化算法，這種方法對多機器通信復雜度進行優化，提高了通信效率，并且在神經網絡剪枝中得以應用。研究結果表明所提出的稀疏優化方法可以顯著調高非凸稀疏學習的計算效率，自適應地顯著減少卷積神經網絡的冗余度，同時保持稠密模型的泛化能力。報告最后，袁曉彤教授針對學校師生提出的問題給出了自己富有獨到見解的回答。

本次學術報告內容精彩紛呈，引起了師生們的廣泛討論和積極提問，在場的老師和學生認真學習報告精髓，進一步開闊了學術視野，紛紛表示獲益匪淺。

圖文：劉傳巾 周俊杰

審核：彭開香      

責編：馬  琳