人工智能領(lǐng)域每年發(fā)表超過14,000篇論文。這個(gè)領(lǐng)域吸引了全球多個(gè)重量級的研究小組。諸如NeurIPS，ICML，ICLR，ACL和MLDS之類的AI會議每年都會吸引大量的論文。2019年，論文提交的數(shù)量還在增加。今天，我們將分享2019 年備受關(guān)注的 14 篇論文，助大家開啟2020 年學(xué)習(xí)旅程一臂之力。

《Single Headed Attention RNN: Stop Thinking With Your Head》 (Stephen Merity, November 2019)

在這篇論文中，哈佛大學(xué)的研究生Stephen調(diào)研了自然語言處理方向研究現(xiàn)狀，所使用的模型以及其他替代方法。在這個(gè)過程中，他從頭到尾拆解了常規(guī)的方法，包括詞源。

該作者還表示，機(jī)器學(xué)習(xí)摩爾定律的必要性。該定律是關(guān)于計(jì)算機(jī)的未來，同時(shí)還有從頭開始重建代碼庫。這既是一種教育工具，又是學(xué)術(shù)界和工業(yè)界未來工作的強(qiáng)大平臺。

《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》(Mingxing Tan and Quoc V. Le, November 2019)

在本項(xiàng)工作中，作者提出了一種復(fù)合的縮放方法，該方法可以指出何時(shí)增加或減少某個(gè)網(wǎng)絡(luò)的深度、高度和分辨率。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是許多機(jī)器視覺應(yīng)用程序的核心。EfficientNets可以以x10倍的效率(越來越小，越來越快)超越SOTA的精度。

《Deep Double Descent By OpenAI》 (Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal, September 2019)

在本文中，作者嘗試了在統(tǒng)一的性能曲線內(nèi)去平衡傳統(tǒng)的理解和現(xiàn)代的實(shí)踐。

“二次下降”曲線可以顯示超出插值點(diǎn)的模型如何提高性能，因此取代了經(jīng)典的U型偏差方差trade-off曲線。

《The Lottery Ticket Hypothesis Jonathan Frankle》(Michael Carbin, March2019)

神經(jīng)網(wǎng)絡(luò)修剪技術(shù)可以將經(jīng)過訓(xùn)練的網(wǎng)絡(luò)參數(shù)數(shù)量減少90%以上，減少存儲需求并提高推理的計(jì)算性能，而不會影響準(zhǔn)確性。

作者發(fā)現(xiàn)，標(biāo)準(zhǔn)的修剪技術(shù)自然可以發(fā)現(xiàn)子網(wǎng)，這些子網(wǎng)的初始化使其能夠有效地進(jìn)行訓(xùn)練。基于這些結(jié)果，他們介紹了“彩票假設(shè)”。

《On The Measure Of Intelligence》 (Francois Chollet, November 2019)

這項(xiàng)工作總結(jié)并批判性地評估了智能和評價(jià)方法的定義，同時(shí)給出了引導(dǎo)這項(xiàng)工作的人工智能歷史概念。

作者，也是keras的創(chuàng)建者，介紹了基于算法信息論的智能的正式定義。并基于此定義，他針對通用AI基準(zhǔn)提出了一套指南。

《Zero-Shot Word Sense Disambiguation Using Sense Definition Embeddings via IISc Bangalore & CMU》 (Sawan Kumar, Sharmistha Jat, Karan Saxena and Partha Talukdar, August 2019)

詞義消歧(WSD)是自然語言處理(NLP)中一個(gè)長期存在的研究問題。當(dāng)前受監(jiān)督的WSD方法將語義視為離散標(biāo)簽，并且還用于預(yù)測訓(xùn)練中未曾見過單詞的“最頻繁詞義”(MFS)。

IISc班加羅爾的研究人員與卡內(nèi)基梅隆大學(xué)合作，提出了擴(kuò)展的WSD結(jié)合語義嵌入(EWISE)，這是一種通過預(yù)測連續(xù)語義嵌入空間而不是離散標(biāo)簽空間的WSD監(jiān)督模型。

《Deep Equilibrium Models》 (Shaojie Bai, J. Zico Kolter and Vladlen Koltun, October 2019)

由于觀察到許多現(xiàn)有深度序列模型的隱藏層趨于某個(gè)固定點(diǎn)，因此卡內(nèi)基梅隆大學(xué)的研究人員提出了一種通過深度均衡模型(DEQ)對序列數(shù)據(jù)進(jìn)行建模的新方法。

使用這種方法，無論網(wǎng)絡(luò)的有效“深度”如何，這些網(wǎng)絡(luò)中的訓(xùn)練和預(yù)測都僅需要固定的內(nèi)存。

《IMAGENET-Trained CNNs are Biased Towards Texture》 (Robert G, Patricia R, Claudio M, Matthias Bethge, Felix A. W and Wieland B, September 2019)

人們普遍認(rèn)為，卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過學(xué)習(xí)目標(biāo)形狀的復(fù)雜表示來識別物體。本文的作者評估了在具有紋理與形狀沖突的圖像上，CNN和人類的結(jié)果。他們表明ImageNet-trained CNN強(qiáng)烈傾向于識別紋理而不是形狀，這與人類的識別方式形成鮮明對比。

《A Geometric Perspective on Optimal Representations for Reinforcement Learning 》(Marc G. B , Will D , Robert D , Adrien A T , Pablo S C , Nicolas Le R , Dale S, Tor L, Clare L, June 2019)

作者提出了一種基于價(jià)值函數(shù)空間幾何特性的表示學(xué)習(xí)新視角。這項(xiàng)工作表明，對抗值函數(shù)展現(xiàn)了其有趣的結(jié)構(gòu)，并且在學(xué)習(xí)環(huán)境表示時(shí)是很好的輔助任務(wù)。作者相信這項(xiàng)工作為在深度強(qiáng)化學(xué)習(xí)中自動生成輔助任務(wù)的可能性開辟了道路。

《Weight Agnostic Neural Networks》(Adam Gaier & David Ha, September 2019)

在這項(xiàng)工作中，作者探索了在不學(xué)習(xí)任何權(quán)重參數(shù)的情況下，僅神經(jīng)網(wǎng)絡(luò)架構(gòu)是否可以對給定任務(wù)的解決方案進(jìn)行編碼。在本文中，他們基于神經(jīng)網(wǎng)絡(luò)架構(gòu)提出了一種搜索方法，該方法無需任何明確的權(quán)重訓(xùn)練就可以執(zhí)行任務(wù)。

《Stand-Alone Self-Attention in Vision Models》 (Prajit Ramachandran, Niki P, Ashish Vaswani, Irwan Bello Anselm Levskaya, Jonathon S, June 2019)

在這項(xiàng)工作中，谷歌研究人員證實(shí)了基于內(nèi)容的交互可以服務(wù)于視覺模型。本文所提出的局部自注意層在ImageNet分類和COCO對象檢測任務(wù)上取得了競爭性的預(yù)測性能，同時(shí)與相應(yīng)的baseline卷積方法相比，所需的參數(shù)和浮點(diǎn)數(shù)運(yùn)算更少。結(jié)果表明，注意力機(jī)制在網(wǎng)絡(luò)的后半部分尤為有效。

《High-Fidelity Image Generation With Fewer Labels》 (Mario Lucic, Michael Tschannen, Marvin Ritter, Xiaohua Z, Olivier B, and Sylvain Gelly, March 2019)

當(dāng)擁有大量的標(biāo)記數(shù)據(jù)時(shí)，目前的模型可以達(dá)到非常高的質(zhì)量。為了解決這種對大數(shù)據(jù)的依賴性，Google的研究人員發(fā)布了這項(xiàng)工作，以證明人們?nèi)绾螐淖晕覍W(xué)習(xí)和半監(jiān)督學(xué)習(xí)中受益，從而在無監(jiān)督ImageNet以及有限時(shí)條件的情況下都優(yōu)于目前的SOTA結(jié)果。

所提出的方法能夠僅使用10%的標(biāo)簽就能匹配在ImageNet上最新條件模型BigGAN的樣本質(zhì)量，而使用20%的標(biāo)簽時(shí)，則能優(yōu)于它(BigGAN)

《ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations》(Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin G, Piyush Sharma and Radu S, September 2019)

作者提出了兩種減少參數(shù)的技術(shù)，以降低內(nèi)存消耗并提高BERT的訓(xùn)練速度，并解決因模型尺寸增加和GPU / TPU內(nèi)存限制，帶來的更長訓(xùn)練時(shí)間以及模型降級挑戰(zhàn)。

結(jié)果，該提出的模型在GLUE，RACE和SQuAD基準(zhǔn)上建立了最新的SOTA結(jié)果，而參數(shù)卻比BERT-large更少。

《GauGANs-Semantic Image Synthesis with Spatially-Adaptive Normalization》(Taesung Park, Ming-Yu Liu, Ting-Chun Wang and Jun-Yan Zhu, November 2019)

Nvidia與UC Berkeley和MIT合作提出了一個(gè)模型，該模型具有空間自適應(yīng)的歸一化層，用于在給定輸入語義布局的情況下合成照片級逼真的圖像。

該模型保留了視覺保真度，并與具有挑戰(zhàn)性的輸入布局保持一致，同時(shí)允許用戶控制語義和樣式。

800萬大學(xué)生都在用的免費(fèi)論文查重平臺