蛋播视频一区,无码鲁丝一区二区,精品 久久 五月天,国产老熟女,五月草草在线观看,中文日韩欧美,情色一区二区三区,欧美日韩亚洲激情在线,亚洲制服在线香蕉

作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力，“智能化”已成為未來產(chǎn)業(yè)的發(fā)展趨勢。作為近年來人工智能發(fā)展最迅猛的領(lǐng)域之一，深度學(xué)習(xí)通過分層網(wǎng)絡(luò)獲取分層次的特征信息，除了在圖像、語音等領(lǐng)域里獲得了比較成功的應(yīng)用之外，也為統(tǒng)計(jì)學(xué)理論的研究創(chuàng)新打開了新的契口。2020年11月19日上午，由北京大學(xué)光華管理學(xué)院商務(wù)統(tǒng)計(jì)與經(jīng)濟(jì)計(jì)量系主辦的“深度學(xué)習(xí)與統(tǒng)計(jì)學(xué)理論”研討會(huì)在北大光華成功舉辦。來自國內(nèi)知名院校的四位優(yōu)秀統(tǒng)計(jì)學(xué)者應(yīng)邀就各自最新的理論成果進(jìn)行了分享與探討，為線上、線下共同參與的逾500位高校師生與業(yè)界人士帶來了一場絕佳的思想學(xué)術(shù)盛宴。

線上直播

開幕式

主持人王漢生

北京大學(xué)光華管理學(xué)院

商務(wù)統(tǒng)計(jì)與經(jīng)濟(jì)計(jì)量系教授、系主任

會(huì)議在北京大學(xué)光華管理學(xué)院商務(wù)統(tǒng)計(jì)與經(jīng)濟(jì)計(jì)量系系主任王漢生教授的主持下宣布開幕，馬化祥書記代表學(xué)院致辭。他熱情地歡迎了線下與線上的師生學(xué)者們參與本次研討，表明在人工智能的飛速發(fā)展下，深度學(xué)習(xí)作為處理非結(jié)構(gòu)化數(shù)據(jù)的一種手段，走向大規(guī)模產(chǎn)業(yè)化應(yīng)用已成為從政策導(dǎo)向到行業(yè)共識(shí)的一致方向。為此，建立深度學(xué)習(xí)平臺(tái)助力產(chǎn)業(yè)應(yīng)用，加速支持產(chǎn)業(yè)智能化，也已經(jīng)成為當(dāng)前學(xué)術(shù)界和各行業(yè)最炙手可熱的研究應(yīng)用方向，期待大家能夠從研討中彼此進(jìn)益，有所收獲。

致辭嘉賓 馬化祥

北京大學(xué)光華管理學(xué)院黨委書記

主旨報(bào)告

“三元素“闡釋機(jī)器學(xué)習(xí)的本質(zhì)

報(bào)告題目：Prediction, Computation, and Representation—The Nature of Machine Learning

報(bào)告人：張志華，北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院

張志華教授在報(bào)告中對(duì)機(jī)器學(xué)習(xí)與統(tǒng)計(jì)學(xué)的影響與差異進(jìn)行了簡要概述，他首先回顧了兩位著名統(tǒng)計(jì)學(xué)家Leo Breiman 與Bradley Efron分別在各自論文“Statistical Modeling: The Two Cultures”與“Prediction, Estimation, and Attribution”中對(duì)統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)之間建模差異的相關(guān)討論，申明了機(jī)器學(xué)習(xí)的發(fā)展給統(tǒng)計(jì)學(xué)帶來的深刻影響。受“深度學(xué)習(xí)”與“統(tǒng)計(jì)學(xué)”這兩種建模文化差異討論的啟發(fā)，張教授提出了闡述機(jī)器學(xué)習(xí)的三要素：Prediction, Computation與Representation。以Prediction為最終目的，將Computation作為問題求解的途徑，從“Representation”角度來詮釋機(jī)器學(xué)習(xí)。張教授表明，在Computation方面，機(jī)器學(xué)習(xí)主要關(guān)注分類，聚類等離散問題；除了如何基于訓(xùn)練集進(jìn)行優(yōu)化求解外，機(jī)器學(xué)習(xí)還關(guān)注如何提高在測試集上的泛化性能，以實(shí)現(xiàn)優(yōu)化算法和泛化理論的有機(jī)統(tǒng)一。而Representation包括物理建模和特征提取，它的發(fā)展貫穿著如何解決“Dimensionality Curse”和利用“Dimensionality Blessing”，深度學(xué)習(xí)則完美詮釋了這兩者之間的權(quán)衡。張志華教授表示，它也是迄今為止把“Data Modeling Culture”和“Algorithmic Modeling Culture”融為一體的最佳技術(shù)途徑。

深度森林“打開了”

非參深度學(xué)習(xí)的“大門”

報(bào)告題目：非參數(shù)深度學(xué)習(xí)理論初探

報(bào)告人：高尉，南京大學(xué)人工智能學(xué)院

高尉教授的課題組近年來致力于非參深度學(xué)習(xí)的研究，其基本構(gòu)建是非參數(shù)化、不可微分的隨機(jī)森林模型，而非參深度學(xué)習(xí)在諸多任務(wù)中取得了與深度學(xué)習(xí)相當(dāng)?shù)男Ч?，特別對(duì)離散型學(xué)習(xí)任務(wù)往往表現(xiàn)出更好的效果。高教授的報(bào)告圍繞他和他的課題組在非參深度學(xué)習(xí)方面取得的理論初步進(jìn)展，著重介紹了收斂界的研究，并解釋了其如何在理論上指導(dǎo)非參深度模型的構(gòu)建。高教授以“Deep Forests”為切入點(diǎn)，將目前的深度學(xué)習(xí)視作多層傳統(tǒng)神經(jīng)網(wǎng)絡(luò)構(gòu)成。通過分析其層數(shù)過深而造成的訓(xùn)練困難的問題，高教授表示可利用連續(xù)可微的激活函數(shù)（Relu），采用BP算法進(jìn)行訓(xùn)練。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，深度學(xué)習(xí)不需要人工設(shè)計(jì)輸入（如圖像），而是通過算法自動(dòng)學(xué)習(xí)?；诖耍呓淌谥赋?，現(xiàn)在的深層深度學(xué)習(xí)效果的優(yōu)秀表現(xiàn)主要源于3個(gè)原因：1）逐層的數(shù)據(jù)處理；2）特征的內(nèi)部變換。3）足夠強(qiáng)的模型復(fù)雜度。但同時(shí)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)也存在三個(gè)問題：1）容易過擬合。2）很難訓(xùn)練。3）計(jì)算開銷大。不論實(shí)際應(yīng)用還是學(xué)術(shù)研究的層面，都期望得出研究非神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，由此而提出了“Deep Forests”的概念?！癉eep Forests”利用了“Random Forest”，能夠?qū)崿F(xiàn)逐層處理，得到新的特征。在實(shí)際的套現(xiàn)案例中，其模型的表現(xiàn)優(yōu)于邏輯回歸和DNN。為了進(jìn)一步證明它的優(yōu)越性，高教授給出了Deep Forest的特殊情形，并針對(duì)于滿足特定條件的模型，給出不同變體下的forests的一致性證明和收斂速度證明，對(duì)深度學(xué)習(xí)的建模方式提供了很好的指導(dǎo)方向。

“三力”齊發(fā)——

探究深度學(xué)習(xí)的理論性質(zhì)

報(bào)告題目：Deep learning: from theory to algorithm

報(bào)告人：王立威，北京大學(xué)信息科學(xué)技術(shù)學(xué)院

王立威教授在報(bào)告中重點(diǎn)介紹了其團(tuán)隊(duì)近期在深度學(xué)習(xí)理論方面的研究成果及其對(duì)算法設(shè)計(jì)的指導(dǎo)。他認(rèn)為主要可以從三個(gè)方面研究深度學(xué)習(xí)的理論性質(zhì)：模型的表示能力、在測試集上的泛化能力以及在訓(xùn)練集上的優(yōu)化性質(zhì)。對(duì)于深度神經(jīng)網(wǎng)絡(luò)表示能力的研究，王教授及其團(tuán)隊(duì)證明了在網(wǎng)絡(luò)寬度嚴(yán)格大于輸入維度以及深度可以無限增加的條件下，深度神經(jīng)網(wǎng)絡(luò)是一個(gè)Universal Approximator，能以任意精度逼近一個(gè)可測函數(shù)。而對(duì)于深度學(xué)習(xí)的泛化能力的研究，王教授表示，雖然深度神經(jīng)網(wǎng)絡(luò)是一個(gè)過參數(shù)化的模型，但仍然表現(xiàn)出很強(qiáng)的泛化能力，因此經(jīng)典的統(tǒng)計(jì)學(xué)習(xí)理論可能不再適用。王教授分別從模型復(fù)雜度和訓(xùn)練算法的角度詮釋了深度學(xué)習(xí)的泛化性能，并給出了在使用SGLD算法的條件下，深度學(xué)習(xí)的泛化誤差上界。最后，對(duì)于深度學(xué)習(xí)的優(yōu)化算法的研究，王教授證明了在深度網(wǎng)絡(luò)充分寬以及其參數(shù)初始化的機(jī)制是被精心設(shè)計(jì)的條件下，從隨機(jī)初始點(diǎn)出發(fā)，利用（隨機(jī)）梯度下降法可以以很大的概率找到全局最優(yōu)點(diǎn)，并且能達(dá)到指數(shù)收斂。基于此理論結(jié)果，王教授與其團(tuán)隊(duì)設(shè)計(jì)了二階優(yōu)化算法——Gram-Gauss-Newton算法，用以訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。該算法具有二階收斂速度，并且每次迭代的計(jì)算復(fù)雜度與SGD相仿。

解析AI浪潮的幕后引擎

——深度卷積神經(jīng)網(wǎng)絡(luò)

報(bào)告題目：Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks

報(bào)告人：周靜，中國人民大學(xué)統(tǒng)計(jì)學(xué)院

周靜教授則以研究動(dòng)機(jī)引入，簡析了作為深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)隨著層數(shù)加深，卷積的size減小，但個(gè)數(shù)迅速增加，從而導(dǎo)致權(quán)重矩陣w的維度極高的問題；同時(shí)面對(duì)Computation和Storage的困難，也難以直接部署在移動(dòng)端。基于此，周教授提出了一種漸進(jìn)主成分分析(PPCA)方法對(duì)卷積進(jìn)行降維來壓縮深度卷積神經(jīng)網(wǎng)絡(luò)。具體而言，從一個(gè)預(yù)先指定的層開始，逐步移動(dòng)到最后的輸出層。對(duì)于每個(gè)目標(biāo)層，PPCA將每一次的卷積層reshape成一個(gè)矩陣后，選擇累計(jì)方差貢獻(xiàn)率最高的幾個(gè)，進(jìn)行PCA降維，這將顯著減少當(dāng)前層中的內(nèi)核數(shù)量。降維后，當(dāng)前層的shape發(fā)生改變，影響了下一個(gè)卷積層，要先對(duì)下一層的shape進(jìn)行修正后再進(jìn)行PCA降維，由于當(dāng)前層中使用的內(nèi)核數(shù)量決定了下一層的通道數(shù)量，用于下一層的通道也大大減少，整個(gè)模型結(jié)構(gòu)可以被大幅壓縮，參數(shù)的數(shù)量和推理成本都可以大幅降低。周教授將其稱之為“Progressive Principle Component Analysis”。周教授的研究中在一些經(jīng)典的CNNs (AlexNet, VGGNet, ResNet和MobileNet)和基準(zhǔn)數(shù)據(jù)集上評(píng)估了該方法的有效性。實(shí)驗(yàn)表明，在某些特定模型里，PPCA的模型壓縮率大、預(yù)測速度快，并且精度沒有太大損失。但PPCA無法做到在所有的模型中都超過其他的競爭對(duì)手。最后周教授指出，目前PPCA沒有考慮如何選取最優(yōu)的調(diào)節(jié)參數(shù)，因此還有進(jìn)一步的研究空間。

以信息技術(shù)為代表的第四次工業(yè)革命正推動(dòng)著我們走入人工智能時(shí)代，伴隨全球第五次產(chǎn)業(yè)轉(zhuǎn)移，大數(shù)據(jù)正在朝著生產(chǎn)要素的形態(tài)演進(jìn)，深度學(xué)習(xí)是近年來隨著人工智能興起而出鏡率最高的名詞之一，與統(tǒng)計(jì)學(xué)的結(jié)合與碰撞勢必會(huì)擦出新的火花。本次研討會(huì)對(duì)統(tǒng)計(jì)學(xué)科與深度學(xué)習(xí)的結(jié)合研究與發(fā)展起到了積極作用，同時(shí)也增進(jìn)了相關(guān)領(lǐng)域?qū)＜覍W(xué)者們之間的交流與探討，為發(fā)展統(tǒng)計(jì)數(shù)據(jù)科學(xué)創(chuàng)新建立了良好的平臺(tái)，與會(huì)師生與學(xué)者都表示獲益匪淺。

2020.11.19

北京大學(xué)光華管理學(xué)院商務(wù)統(tǒng)計(jì)與經(jīng)濟(jì)計(jì)量系

北京大學(xué)光華管理學(xué)院商務(wù)統(tǒng)計(jì)與經(jīng)濟(jì)計(jì)量系傳承北京大學(xué)明辨善思、海納百川的篤學(xué)精神，秉持光華管理學(xué)院“創(chuàng)造管理知識(shí)，培養(yǎng)商界領(lǐng)袖，推動(dòng)社會(huì)進(jìn)步”的歷史使命，以“光華思想力”為錨，聚焦一系列商務(wù)統(tǒng)計(jì)領(lǐng)域重大課題展開研究探討，致力于推動(dòng)人工智能與統(tǒng)計(jì)學(xué)理論的交流與發(fā)展。值學(xué)院成立35周年之際，集光華學(xué)者之智慧，建深度交流之平臺(tái)，通過分享討論學(xué)術(shù)研究成果，助力學(xué)術(shù)發(fā)展，推動(dòng)社會(huì)進(jìn)步。