本文要介紹的是一份長約 80 頁的學(xué)習(xí)筆記，旨在總結(jié)機(jī)器學(xué)習(xí)的一系列基本概念（如梯度下降、反向傳播等），不同的機(jī)器學(xué)習(xí)算法和流行模型，以及一些作者在實(shí)踐中學(xué)到的技巧和經(jīng)驗(yàn)。

如果你是一個剛剛?cè)腴T機(jī)器學(xué)習(xí)領(lǐng)域的人，這份學(xué)習(xí)筆記或許可以幫你少走很多彎路；如果你不是學(xué)生，這些筆記還可以在你忘記某些模型或算法時供你快速查閱。必要時，你可以使用 Ctrl+F 搜索自己想知道的概念。

筆記共分為以下六大部分：

激活函數(shù)

梯度下降

參數(shù)

正則化

模型

實(shí)用竅門

在第一部分「激活函數(shù)」中，作者提供了 Sigmoid、tanh、Relu、Leaky Relu 四種常用的機(jī)器學(xué)習(xí)激活函數(shù)。

第二部分「梯度下降」又分為計算圖、反向傳播、L2 正則化梯度、梯度消失和梯度爆炸等 12 個小節(jié)：

為了幫助讀者理解，作者舉了一些例子，并對很多內(nèi)容進(jìn)行了可視化的展示：

梯度下降

筆記的第三部分是機(jī)器學(xué)習(xí)中的參數(shù)，又分為可學(xué)習(xí)參數(shù)和超參數(shù)、參數(shù)初始化、超參數(shù)調(diào)優(yōu)等幾個小節(jié)。

為了防止新手走彎路，作者在「參數(shù)初始化」部分的開頭就提醒道：其實(shí)，TensorFlow 等機(jī)器學(xué)習(xí)框架已經(jīng)提供了魯棒的參數(shù)初始化功能。類似的提醒在筆記中還有很多。

筆記的第四部分是正則化，包含 L2 正則化、L1 正則化、Dropout、早停四個小節(jié)。

第五部分是整份筆記的重中之重，詳細(xì)描述了邏輯回歸、多類分類（Softmax 回歸）、遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、序列模型、Transformer 和 BERT 等八大類機(jī)器學(xué)習(xí)模型。并且，八大類模型下面又分為各個小類進(jìn)行詳解，具體如下所示：

解釋相對簡單的前四類機(jī)器學(xué)習(xí)模型。

解釋最為詳盡的卷積神經(jīng)網(wǎng)絡(luò)（CNN），包括 Filter/Kernel、LeNet-5、AlexNet、ResNet、目標(biāo)檢測、人臉驗(yàn)證以及神經(jīng)風(fēng)格遷移等。

序列模型，包括常見的循環(huán)神經(jīng)網(wǎng)絡(luò)模型（RNN）、Gated Recurrent Unit（GRU）、LSTM、雙向 RNN、深度 RNN 示例、詞嵌入、序列到序列翻譯模型示例等。

Transformer 和 BERT 模型。

筆記最后一部分給出了一些「實(shí)用竅門」，包括訓(xùn)練/開發(fā)/測試數(shù)據(jù)集、不匹配的數(shù)據(jù)分布、輸入歸一化以及誤差分析等 6 方面內(nèi)容。其中有些竅門來自 Deep Learning AI 等在線課程，還有一部分是作者自己總結(jié)得到的。