神經網絡是一個強大的工具，僅僅依靠一個隱藏層，就可以發覺幾乎一切形式的非線性關係。神經網絡唯一的缺點，也就是黑箱型和收斂性了。

神經網絡用於非線性降維的設計思路真是十分巧妙，直接將原始變量既作為輸入變量又作為輸出變量，而中間層的神經元上的數值就可以作為降維結果了。

例如要把100維變量的元素降為2維，只需要建一個特殊神經網絡，輸入層、輸出層都是100，中間層個數為2。因為輸出層就是原始變量，因此中間層的2維變量可以最大限度地擬合原始變量的信息。

不過這樣的模型看上去不像純粹的非線性模型，因為從輸入層到中間層，從中間層到輸出層，二者有一個是線性的過程。如果把中間層的激越函數的形式確定了，這個模型本質上和GLM沒有什麽差異。

為提高擬合精度，還可以用五層的神經網絡，將第三層的中間值作為降維結果。這樣的模型，無論是從原始變量到降維變量，還是從降維后變量到原始變量，都是一個非線性過程了。

非線性過程的優點是精度高，缺點是缺乏直觀意義的表達。有時候得到的結果可能根本就是無意義的。容易認識到，對於三維空間內的任意有限個點，總可以找到一個曲面包含所有的點。從擬合角度看，這樣的降維方法沒有損失任何信息；但是將這個曲面展開，會發現原始點在這個曲面上的分布很可能可能是完全雜亂不堪的。

local linear embedding和isomap方法是兩種高效的展開曲面的方法。這兩種方法之所以能夠取得很好的展示效果，是因為原始點是確切地位於一個客觀存在的平面上的。這些算法可以把一個地球儀展開成一幅世界地圖，其根本原因是因為地球表面本身就是三維空間中的一個曲面。