今天聊两句技术的话题，关于最优化里面的退火算法，在训练人工神经网络中也使用。

 昨天和周筠老师谈到这个题目。我就讲讲它名字的由来。 

说起退火算法，其实原本也是一个很好的比喻，但是如果老师不讲退火的冶金学原理，大家对这个名词会更糊涂。

退火原来是指金属中的原子已经处在一个内部能量具有局部极小值的相对稳定状态，但是它不可能达到整个金属整体内部能量的极小值，因为它已经稳定了。这时，如果对金属加热使内部的能量先增加，一些原子会随机移动离开原来位置，再冷却下来后，会达到整个金属整体内能达到最小。在最优化的算法上，退火算法就是这样一种摆脱局部极小值，达到全局极小值的方法。但是，如果不讲退火的原理，大家不知道它为什么叫退火算法。