看到目前大部份回答的作者應該都是CS 領域的，我自己是 生物本科，認知神經科學研究生在讀，課余時間比較喜歡編程和機器學習，正在自學，了解的稍微多一些。我試著從我的角度來說下我看到的 深度學習和 神經科學的聯系。
深度學習和神經科學這兩個學科現在都很大，我的經歷尚淺，如果大家發現哪裏說得不太對，歡迎提出指正，謝謝！
那我們就自底往上說。
神經元
在深度學習領域，神經元是最底層的單元，如果用感知機的模型， wx + b, 加上一個啟用函式構成了全部，輸入和輸出都是數位，研究的比較清楚，別的不說，在參數已知的情況下，有了輸入可以計算輸出，有了輸出可以計算輸入。
但在神經科學領域，神經元並不是最底層的單位，舉例來說，有人在做神經元膜離子通道相關的工作。一個神經元的輸入，可以分為三部份，從其他神經元來的電訊號輸入，化學訊號輸入，還有編碼在細胞內的訊號（興奮，抑制型別，這裏可以類比為 啟用函式？），輸出也是三個，電輸出，化學輸出，改變自身狀態（LTP 長時程增強, LTD長時程抑制）。我們是否足夠了解神經元？ 我個人十分懷疑這一點，前幾天還看到一個關於神經元的進展，大意是神經元不僅能對單一訊號產生反應。。還能對一定一定間隔的訊號產生反應。。 神經元的底層編碼能力其實更強。。。我們神經科學發展了這麽久，可能真的連神經元都沒真正的搞清楚。
在這另外說一句。 深度神經網路裏面，大部份節點都是等同的，但是在人類神經網路裏面，並不是這樣，不同的腦區，甚至腦區內部，神經元的形態都可以有很大的差異，如V1內部的六層就是基於神經元形態的區分。從這個角度，人類神經系統要更復雜一些。我個人並不否認每一種神經元可以用不同初始化參數的 節點來代替，但是目前來說，復雜度還是要比深度神經網路要高。
訊號編碼方式
再說編碼方式，神經科學裏面的 神經元是會產生0-1 的動作電位，透過動作電位的頻率來編碼相應的訊號（腦子裏面的大部份是這樣，外周會有其他形式的），而人工神經網路？大部份我們聽到的，看到的應該都不是這種方式編碼的，但是 脈沖神經網路 這個東西確實也有，（今天去ASSC 開會的時候看到了一個很有趣的工作，在評論區簡單說了下，有興趣可以去看。）
神經網路的結構
目前的深度神經網路主要是三種結構， DNN（全連線的），CNN（摺積）， RNN（迴圈）。還有一些很奇怪的， 比如說。。。Attention 的？不好意思，文章還沒看，不敢亂說。。。
放點圖：
DNN:
來自 ： Neural Networks - Ufldl
CNN：
出處： AlexNet
RNN：
出處： Understanding LSTM Networks
神經科學裏面的網路結構，此處以V1 為例：
來源： Adaptation and Neuronal Network in Visual Cortex
感謝 @滕建超 提供新的圖片，比我之前那個強多了，這張圖表達分層結構表達的更好一些。
來源： Neocortical layer 6, a review
和大家想的不同，視覺區分了V1，V2，V3，V4，V5（MT），上面還有FFA， 和一些掌管更高級功能的腦區。在這裏面每一個小的視皮層裏面，並不是純由神經元互相連線構成的，仍然存在不同的層級結構。這裏去google 找了一張圖，不用管具體的文章，主要說明的是V1 的精細結構和連線關系。V1 的主要功能是 辨識點和不同角度的線段（Hubel 和W 在上世紀50年代在貓上的工作），但是其實不止如此，V1 還對顏色有一定的感知。
如果在這個層面作比較，我自己的理解是， 人類神經網路是 DNN+ CNN + RNN 再加上脈沖作為編碼方式。層內更像DNN， 層間和CNN 很類似，在時間上展開就是RNN。
好，我們繼續。
訓練方式：
深度神經網路的訓練方式主要是 反向傳播，從輸出層一直反向傳播到第一層，每一層不斷修正出現的錯誤。但是大腦裏面並沒有類似反向傳播機制，最簡單的解釋，神經元訊號傳遞具有方向性，並沒機會把訊號返回上一層。舉個例子，我要拿起手邊的杯子，視覺發現向右偏移了一點，那我會自然而然的移動整個手臂向左一點，然後試著去重新抓住杯子。好像沒人是讓手指，手，最後是手臂朝杯子移動，甚至多次才能最後成功吧。在此參照下一篇文章裏面的圖。
來源文章： Towards Biologically Plausible Error Signal Transmission in Neural Networks
我們的大腦，更像最後 DFA 的原理。出錯了，把誤差送到一個更靠近輸入的地方，然後重新訓練。
記憶和遺忘：
提到記憶的話，這裏主要說的是LSTM， LSTM 的記憶儲存在每個節點的權重裏面，同時有專門的 遺忘門 控制遺忘速率。這些都是以數位的形式儲存的。在神經系統裏面，記憶的儲存是由一些腦區的突觸的形成和消失來儲存的。其實 他們有一個比較共通的地方在於，他們在訓練過程中都是漸變的。 得益於反向傳播機制和 神經系統的生物性，他們在訓練過程中和在不斷的學習過程中都只能以一個相對慢的速度發生改變， 從學習速率角度來講，他們是比較相似的 。
然後我們來說遺忘。遺忘在LSTM 裏面是透過門來控制的，在神經系統裏面，我覺得是和STDP相關的，它的基礎是 Hebb 假說， Fire Together， Wire Together， 同步放電的神經元傾向於建立一個更強的連線。STDP 拓展了這一點，考慮了兩神經元放電的先後順序帶來的影響。
來源：Synaptic Modification by Correlated Activity: Hebb's Postulate Revisited
簡單來說，如果突觸前神經元放電先於突觸後神經元（神經元訊號傳導具有方向性，從突觸前到突觸後），這個突觸會進入一個LTP 長時程增強狀態，會對來自突觸前的訊號有更強的反應。反之，如果突觸前神經元放電後於突觸後，則會進入一個長時程抑制的狀態（說明他倆並沒有接收到相同來源的訊號，訊號不相關），一段時間的反應更弱。
深度神經網路裏面門的權重也是 反向傳播訓練出來的，也有漸變的這個性質，當對於快速變化的刺激，有一定的滯後。從這個角度來說， 人類神經系統要更靈活一些，可以在很短的時間內完成狀態的切換。
覺得想說的大概就是這些，因為我自己做的研究是 視覺註意，更多在人身上做，所以對於中間的環路級別的研究，並不是特別的熟悉。再往上，談到人類大腦皮層的工作，個人覺得做的十分的有限，對於大部份腦區，我們並不知道他們是怎麽工作的，只是能把不同的腦區和不同的功能對應起來（還不一定準。。）。在這個角度上談他們的異同是不太負責的。。。容易被打臉。
接下來我會試著邀請幾個朋友來說下環路這個級別的事情。。然後會找其他同行幫我挑錯和補充。。。。。很多東西都是按照記憶寫的。。一些東西不一定準確。。
最後說下自己的觀點吧
正如在提綱裏面提到的。 對的答案往往類似，而錯誤的答案各有不同。地球上這麽多高等的生命都有類似的底層網路結構，而其中的一種還發展出了這麽偉大的文明，神經網路這個結構，至少已經被我們自己證明是一種有效的形式。但是是不是智慧這個形式的全域最優解？我個人持懷疑態度。
神經網路是一個有效的結構，所以大家用這個結構做出一些很好的結果，我一定都不吃驚。但是如果談模擬的話，就是盡力要往這個方向靠。這點上，我個人並不是十分看好這種方式。我們向蝙蝠學習用聲音定位，發展的聲吶無論是距離還是效果都遠超蝙蝠。我們能超過蝙蝠的原因，第一是我們的技術有拓展性，底層原理共通的情況下，解決工程和機械問題，我們可以不那麽輕松但是也做到了探測幾千米，甚至幾十公裏。第二個原因就是我們需要而蝙蝠不需要，他們天天在山洞裏面睡覺。。哪用得著探測幾十公裏的距離，探到了也吃不著。。
其實人類大腦也很類似，大腦是一個前進演化的產物。是由環境不斷塑造而成的，人為什麽沒前進演化出電腦一樣的計算能力，因為不需要。但是其實反過來也有一定的共通的地方，大腦裏面的一些東西，我們也不需要，我們千百年來忍饑挨餓前進演化出的 對於脂肪攝入的需求，在兒童時期對於醣類攝取的需求。這麽說的話，我們對於大腦，同樣去其糟粕，取其精華不是更好嗎？
我上面提到的是一個理想的情況，我們對大腦已經了解的比較透徹的，知道該去掉哪，留下哪。。但是現在。。。可能還要走一段模擬的路子。。。。
大概就是這個觀點。 總結一下，就是， 深度神經網路和大腦皮層有共通的地方，但是並不能算是模擬。只是大家都找到了解題的同一個思路而已。
感謝閱讀，希望大家多提寶貴意見。
如果您都讀到這了，歡迎去看看評論區，有很多不錯的討論。
Harold_Yue 第一版草稿寫於 2017.6.16 0:10
Harold_Yue 第二版草稿寫於 2017.6.17 11:10 加入了 訓練方式， 記憶和遺忘，以及自己的觀點 三部份。
Harold_Yue 於 2017.6.19 12:54 加了張圖，另外表示評論區很贊。
拓展閱讀以及參考文獻：
從科研到腦科學 - 知乎專欄
Understanding LSTM NetworksAlexNet： ImageNet classification with Deep Convolutional Neural Networks
Towards Biologically Plausible Error Signal Transmission in Neural NetworksSTDP: Synaptic Modification by Correlated Activity: Hebb's Postulate Revisited
神經元對一定間隔訊號反應： Learned response sequences in cerebellar Purkinje cells
新智元相關報道 ： 【新智元專訪】神經元本身也能編程，神經網路學習能力遠超預期
