何愷明殘差學習奠基人的身份，也被“挑戰”了。

為什么要說“也”？因為發起討論的，又雙叒是我們熟悉的Jürgen Schmidhuber——LSTM之父。

不過這一次，他不是要把功勞攬到自己身上，而是替LSTM的另一位作者Sepp Hochreiter發聲：

殘差學習這把改變深度學習格局的 “鑰匙”，其實早在30年前就已經誕生——Sepp Hochreiter在1991年就在使用循環殘差連接解決梯度消失問題。

有一說一，Jürgen爭title也不是第一次了，作為深度學習的先驅者，Jürgen自認為自己的早期貢獻被人為忽視了。

ResNet發布的同年，深度學習三巨頭BengioHintonLeCun在Nature上聯合發表有關DL的綜述論文，其中大量引用他們三人的自身成果，卻對Jürgen等人只字不提。

隨即他們展開了長達多年的爭論，尤其是在18年的圖靈獎結果公布后，Jürgen更是洋洋灑灑寫了篇援引200多條文獻的小作文反擊。

之后在GAN的原創爭議上，雙方也是爭執不休，要知道GAN的提出者正是Bengio的得意門生。

而如今有關殘差學習的創始之爭，也是因為Jürgen自認為將殘差學習這一成果的發現完全歸因于何愷明團隊有失偏頗。

不過正如網友所說：

• 從Hochreiter到ResNet，光芒隨時間遞歸延續。陰影是被模糊的歸屬，但真理始終不變：1991年的種子閃耀著每一層。

30年前的第一次提出

Jürgen Schmidhube這次要講的故事始于1991年。

當時還是Jürgen學生的Sepp Hochreiter，正在著手撰寫自己的博士論文，也正是在這篇論文里，他首次系統性分析了RNN的梯度消失問題，并提出用循環殘差連接解決。