我們從測試集合里面取同一個樣例，畫出兩個網(wǎng)絡的預測結(jié)果來進行對比：
sample1 = load(test=True)[0][6:7]
sample2 = load2d(test=True)[0][6:7]
y_pred1 = net1.predict(sample1)[0]
y_pred2 = net2.predict(sample2)[0]

fig = pyplot.figure(figsize=(6, 3))
ax = fig.add_subplot(1, 2, 1, xticks=[], yticks=[])
plot_sample(sample1[0], y_pred1, ax)
ax = fig.add_subplot(1, 2, 2, xticks=[], yticks=[])
plot_sample(sample1[0], y_pred2, ax)
pyplot.show()

左邊的net1的預測與net2的預測相比。

然后讓我們比較第一和第二網(wǎng)絡的學習曲線：

這看起來不錯，我喜歡新的誤差曲線的平滑度。 但是我們注意到，到最后，net2的驗證錯誤比訓練錯誤更快地趨于水平。 我敢打賭，我們可以通過使用更多的培訓示例來改善。 如果我們水平翻轉(zhuǎn)輸入圖像怎么辦？ 我們能夠通過使這樣的培訓數(shù)據(jù)量增加一倍來改進培訓嗎？

數(shù)據(jù)擴充

通常情況下，增加訓練集的數(shù)量會讓一個過擬合的網(wǎng)絡取得更好的訓練結(jié)果。（如果你的網(wǎng)絡沒有過擬合，那么你最好把它變大。（否則不足以描述數(shù)據(jù)））
數(shù)據(jù)擴充的意思是我們?nèi)藶榈赝ㄟ^一些手段（變形、添加噪聲等等）增加訓練用例的個數(shù)。顯然，這要比手工收集更多的樣本經(jīng)濟許多。所以，數(shù)據(jù)擴充是深度學習工具箱里必不可少的工具。

我們曾經(jīng)在前面簡短的提到批處理迭代器。批量迭代器的工作是采集一個訓練集合的樣本矩陣，分成不同的批次（在我們的任務128個用例一批）。當把訓練樣本分成批次的時候，批處理迭代器可以順便把輸入變形這件事做的又快又好。所以當我們想要進行水平翻轉(zhuǎn)的時候，我們不需要去翻倍數(shù)量巨大的訓練集合。更好的方法是，我們在進行批處理迭代的時候，以50%的幾率進行水平翻轉(zhuǎn)就可以了。這非常的方便，對某些問題來說這種手段可以讓我們生產(chǎn)近乎無限的訓練集，而不需要增加內(nèi)存的使用。同時，輸入圖片的變形操作可以在GPU進行上一個批次運算的時候進行，所以可以說，這個操作幾乎不增加任何額外的資源消耗。

水平翻轉(zhuǎn)圖片事實上僅僅是矩陣的切片操作：
X, y = load2d()
X_flipped = X[:, :, :, ::-1] # simple slice to flip all images

# plot two images:
fig = pyplot.figure(figsize=(6, 3))
ax = fig.add_subplot(1, 2, 1, xticks=[], yticks=[])
plot_sample(X[1], y[1], ax)
ax = fig.add_subplot(1, 2, 2, xticks=[], yticks=[])
plot_sample(X_flipped[1], y[1], ax)
pyplot.show()

原始圖片（左）和翻轉(zhuǎn)圖片

在右邊的圖片中，值得注意的是關(guān)鍵點的位置并不匹配。因為我們翻轉(zhuǎn)了圖片，所以我們也必須翻轉(zhuǎn)目標位置的橫坐標，同時，還要交換目標值的位置，因為left_eye_center_x 變換過之后的值，指示的實際上是right_eye_center_x。我們建立一個元組flip_indices來保存哪一列的目標向量需要交換位置。如果你還記得，最開始的時候我們讀取的數(shù)據(jù)條數(shù)是這樣的：
left_eye_center_x 7034
left_eye_center_y 7034
right_eye_center_x 7032
right_eye_center_y 7032
left_eye_inner_corner_x 2266
left_eye_inner_corner_y 2266
…