江南水师学堂建于光绪十六年(1890)，是清政府在洋务运动中开办的军事学校，有说法是张之洞（一 说两江总督兼南洋大臣曾国荃）为与李鸿章的北洋水师在刘公岛办的水师学堂相抗衡而建立的。堂内开设驾驶、轮机、鱼雷3个班，每期学员120名左右，教员大多为英国人。课程有英语、机械、航海、天文等，被视为“中国海军摇篮之一“。1912年中华民国临时政府将其改为海军军官学校；1929年国民政府在此组建海军部。1949年8月15日华东军区海军在此创立华东军区海军学校，张爱萍任校长兼政治委员；其后先后为海军联合学校（12月29日）、海军预科学校、海军技术学校、海军军械学校，为新中国海军输送了不少专业技术人才。1970年经中央军委和国防科工委批准在此组建七二四研究所，同年8月17日被授予隶属海军的“南字817部队”，1976年撤销部队番号隶属于六机部七院，1982年归入中国船舶工业总公司，现隶属于中国船舶舶总公司。

当时大门两柱,一边柱上写“中流砥柱”,一边柱上写“大雅扶轮”,这8个字当可反映出当时办学者的心态。辛亥革命后，江南水师学堂停办，改为海军部的办公地，后又为海军军官学校、国民政府海军部、海军司令部等单位驻地。今存总办提督楼、英籍教员办公楼和国民政府海军部大门等建筑。与已有的福州船政学堂和北洋水师学堂相比，江南水师学堂很阔气，有漂亮的校园，有办公、上课、住宿、进餐等用房360多间，而且有鱼雷厂、机器厂、翻砂厂、打靶场、雨天操场……以及游泳池和高高的桅杆。

根据资料，这个位于南京市区中山北路346号的地方占地面积1000余平方米。现存建筑一部分为民族风格的大屋顶形式如：原二门及其后的二厅即今人称为门厅、卷棚式轿厅即长长的廊沿加上今人所称的二厅、总办（校长）、提调（教务长）双层办公楼、楼下暖阁，民国后增建的海军部办公厅房内设海军司令办公室,参谋长办公室等。整个建筑,雕梁画栋，彩绘鲜艳，四进到底，颇有气派，其中二轿厅、双层办公楼系由现使用单位南京船舶雷达研究所于1989年耗资60万元按原式复建并稍有增高；另一部分在二门厅东侧，系两层西式建筑,原为英籍教员盘罗蒙罗等人的办公楼。历经多次修缮,原样保存完好。

1898年4月，18岁的鲁迅考入该学堂的轮机班就读，同年11月因不满该校“乌烟瘴气”的校风愤而退学。不过也有很多人认为这个说法有失客观。