1937年11月，侵华日军开始袭击南京时，他被推为南京安全区国际委员会主席，他的这所花园别墅（同时也是办公地），成为南京安全区收容难民的25个国际安全区之一，保护了600多位难民。作为南京国际安全区主席的拉贝和其他国际友人一同，协同南京安全区国际委员会在其负责的不足4平方公里安全区内，拯救了超过25万中国人的生命。

1938年的新年，难民收容所的难民们在约翰·拉贝宅邸的院子里排队向拉贝三鞠躬，献给他一块写着“您是几十万人的活菩萨”的大红绸布。同年2月拉贝离开南京，返回故乡。南京安全区国际委员会对拉贝给予高度评价，中国国民政府授予拉贝三色彩玉勋章。

1938年拉贝回到德国，6月8日写信给希特勒，提交关于南京大屠杀的报告，但报告当时没有公开，由于德日为盟国，故德国当局禁止他发表在南京的所见所闻，之后他受到盖世太保的迫害。

拉贝1934年加入德国纳粹党，1945年第二次世界大战结束后，拉贝因曾是纳粹党员而先后被苏联和英国逮捕。

1946年6月在证实他没有犯错之后被同盟国去纳粹化和释放，在他生活艰难，最消沉的日子里，南京人民为他募捐，寄钱和实物，鉴于在南京时的功绩，他得到国民政府每月金钱和粮食的接济。

1950年1月5日，拉贝跌倒在西门子公司的办公室里，他的同事把他从西门子带回家，就在这天午夜，拉贝因中风去世，遗体安葬在柏林。