上海市在1956年、1957年第一次全面普查之后，经过鉴定及多次反复讨论、研究，提出了市级文物保护单位62处，市人民委员会于1959年5月26日核准公布，其中革命遗址：甲级17处，乙级17处；历史文物：甲级11处，乙级17处。1960年11月22日市人民委员会批准公布了第二批市级文物保护单位15处，全部为革命遗址，其中甲级1处，其余皆为乙级。市郊10县划入建置后，市文物管理委员会在松江、嘉定、青浦、上海等县进行了普查或复查的基础上拟出第三批市级文物保护单位名单，市人民委员会于1962年9月7日批准公布，共27处，其中革命遗址6处、古文化遗址3处、名人墓葬5处、古建筑12处、碑刻1处，其中有松江唐经幢、兴圣教寺塔等5处曾经江苏省人民委员会公布保护。鉴于全国重点文物保护单位不分等级，上海市也不再分级。

　　 1961年3月4日国务院公布了第一批全国重点文物保护单位，上海市有中山故居、中国社会主义青年团中央机关旧址、中国共产党第一次全国代表大会会址、鲁迅墓4处列入。

　　 自此，上海市有全国重点文物保护单位4处，市级文物保护单位102处，其中革命遗址、历史文物各51处（于1963年曾撤销保护历史文物1处）。嘉定、松江、青浦、上海、金山县和南市区，在1962年前也分别由区、县人民委员会公布区、县级文物保护单位68处。1963年市委第一书记柯庆施提出上海市文物保护单位过多，因而1964年2月市文管会提出市级文物保护单位历史文物部分，保留10处，撤销36处，4处改为区县级的方案，上报市人民委员会，1966年11月11日市人民委员会批复“同意撤销部分，保留部分再作研究”。此时“文化大革命”已开始，许多文物保护单位遭到破坏，“文化大革命”期间，被拆除的有广福寺、潮惠会馆、木商会馆、朱泾砖幢、江西会馆、方泰牌坊、白云观大殿、松江啸园等。被平整的墓葬有陈子龙、黄淳耀、吴历、陆深、黄道婆、邹容、宋教仁等人的墓，部分损坏的有徐光启墓、南春华堂、钱业会馆等。至于豫园、真如寺等屋面装饰，静安寺、龙华寺、真如寺、沉香阁内佛像等，也不同程度受到人为的损毁。

　　 1973年，根据国务院总理周恩来等中央领导提出注意保护文物的指示，市文管会提出《上海市文物保护单位调整方案》上报市革命委员会，但一直未予批复。

　　 1977年，市文管会又着手修改上报“调整方案”，12月7日经市革命委员会批准公布：列入市级文物保护单位的26处（其中革命遗址19处，历史文物7处），建议改列为区县级文物保护单位9处，撤销59处。由于当时左的思想影响，对不少历史人物的故居与重要活动地点均未列为保护单位。

　　 1978年12月中共十一届三中全会以后，拨乱反正，1981年6月公布了《关于建国以来党的若干历史问题的决议》，文物博物馆工作者对被撤销的文物保护单位重新估价，1980年8月、1984年5月、1987年11月、1989年9月以及1992年6月先后公布了第二至六批市级文物保护单位，对于过去被视为“禁区”的史实进行探索，将革命文物如《新青年》编辑部旧址、上海大学旧址、上海书店旧址等恢复为市级文物保护单位。历史文物中把原为区县级的松江清真寺、放生桥、邹容墓等提升为市级文物保护单位。同时，也列入了国民党进步人士、民主党派社会知名人士，如蔡元培、黄炎培、张元济、沈尹默、傅雷等故居公布为市或区县级文物保护单位。此外，上海是国际上闻名的都市，外国人在上海活动很多，有大韩民国临时政府旧址、内山书店、路易·艾黎故居等也分别列入市区级保护单位和纪念地点。

　　 1982年2月23日国务院公布的第二批全国重点文物保护单位，列入了宋庆龄墓和豫园，1988年1月13日公布的第三批全国重点文物保护单位有龙华革命烈士纪念地、松江唐经幢和徐光启墓。各区、县也陆续相应的调整和增补了区县级文物保护单位。

　　 至1992年底，上海市共有全国重点文物保护单位9处，市级文物保护单位128处，区县级132处。

2006年6月6日在上海博物馆举行的“上海市首届中国文化遗产日活动”新闻发布会消息：上海的马勒住宅、国际饭店和龙华塔近日被国务院批准为第6批全国重点文物保护单位。6月10日，上海市文管会会同相关区政府在马勒住宅进行全国重点文物保护单位挂牌仪式。

　　 到目前为止，上海共有国家级文物保护单位19处：

　　 青浦区福泉山遗址；唐陀罗尼经幢；兴圣教寺塔；真如寺大殿；徐光启墓；豫园（含沉香阁）；上海孙中山故居；鲁迅墓；宋庆龄墓；上海宋庆龄故居；张闻天故居；龙华革命烈士就义地；上海外滩建筑群；上海邮政总局；中国社会主义青年团中央机关旧址；中国共产党第一次全国代表大会会址；马勒住宅；国际饭店；龙华塔。