1860年，英法联军焚毁“三山五园”时，耕织图景区也被毁灭，夷为废墟。慈禧重修颐和园时，却不去恢复耕织图旧观，而是在耕织图废墟上修了一个水操内外学堂，要在这里培养中国海军。刻有乾隆诗篇的耕织图石碑，则遗弃在学堂围墙之外。但水操学堂好景不长，九年后即退出历史舞台。至中华人民共和国成立，此处已是一片萧瑟景象，曾经做过工厂、学校等。2004年才重新整修，耕织图区又重现于颐和园中。