在原新天安堂的东面，有一幢五层的红色建筑，便是与教堂配套的原新安堂教会公寓。

 原新安堂教会公寓位于南苏州路79号、中山东一路33号3号楼，与原新天安堂比肩而立，与划船俱乐部隔路相望。公寓建成于1899年，建筑为砖混结构，新古典主义风格，由毕士来洋行设计，外立面以帕拉迪奥窗套及花环装饰为特色，既活泼又不失庄重。东首二、三层挑出阳台，朝南面室外一至六层（第六层为露台）装有“之”字形钢结构楼梯。公寓建成之初为原新安堂教会教职人员居住场所，此后的用途网上鲜见相关的介绍和说明文字，有网友说里面已经改成豪华酒店的，也有网友说是女性SPA的，记录比较详细的是2010年10月，中印当代艺术展“时.地.戏”曾在教会公寓和新天安堂展出。

与教会公寓隔了南苏州路的原划船俱乐部，相关介绍材料则相对多一些。

原划船俱乐部旧址位于南苏州路76号，紧挨着苏州河，是附近南苏州河路和苏州河之间唯一的一幢建筑，孤零零却高傲地存在。据说这块地原来是给新天安堂做广场用的，后因英国侨民划船的需求改为建设划船俱乐部。原划船俱乐部始建于1904年，整体为折衷主义风格，顶部为英国维多利亚风格，局部又略带巴洛克装饰。该建筑原来是对称的，西翼为游泳池，东翼为船库；后因城市建设原因，两翼被拆除，保留了中部的建筑和游泳池轮廓，泳边仅保留了一个孤立的门头。

上海划船比赛的历史可以追溯到1846年，1859年上海划船总会在苏州河口上成立，总会的主要成员均为英国侨民。后因苏州河船只增多，交通日繁，总会便把码头迁到现在的恒丰路桥边。1905年，划船总会又迁回苏州河口南岸，在白渡桥西侧建立码头，并建造了4大间7小间的西式小楼1幢作会所，会所内建有游泳池、船库、健身房等设备，其室内游泳池是中国近代史上最早的体育设施之一，船库的屋顶上还设有花园。1953年,划船俱乐部变成了黄浦游泳馆，并被加盖到了四层。

据说，这样一座著名的俱乐部还差点遭到了拆除。当时破败不堪的俱乐部，几乎没有历史资料。为了配合外滩源改造规划，这里将被夷为平地。恰逢一位教授无意中从一清末明信片中认出了它，最终在几位教授及媒体的共同呼吁下，在拆除首日就被紧急叫停。此后，在这几位教授的不懈努力下，俱乐部旧址终于得以保留，并将按照此前的设计进行还原。如今的划船俱乐部已经整修一新，其主体部分恢复了其原本的样貌，游泳池修缮后形成了一个下沉的休闲空间，在空间上部搭建了钢结构棚架，形成了半露天的“泳池客厅”空间，让市民以一种全新的生活方式体验原划船俱乐部的场所感和社交感。在东侧，以简洁的灯阵“再现”原有建筑空间，打造了景观、草坪相结合的公共空间。由于划船总会位于南苏州路76号，主体部分改造的西餐厅就被命名为船76。

现在的上海市划船俱乐部位于黄浦江西岸、徐浦大桥脚下，始建于1956年，1958年5月正式成立。俱乐部占地70余亩，建成之初拥有各种船艇200余条，是当时远东最大的专业船艇训练基地，也是中国水上体育运动的发源地。1959年以来，划船俱乐部培养输送了50余名水上运动教练，中国的水上体育运动因此得以开展并逐渐蓬勃兴旺。划船俱乐部培养的运动员也在历届世界锦标赛、全国运动会、全国锦标赛等各类国际国内竞赛中（赛艇、皮划艇、帆船、帆板、摩托艇、竞速艇、滑水等项目）获得多枚奖牌。目前，划船俱乐部还留有摩托艇、水上摩托车、OSY竞速艇、250高速艇、350高速艇、龙舟等运动项目，比赛成绩在国内名列前茅。

2021年7月28日，来自上海的赛艇运动员张灵、陈云霞和队友吕扬、崔晓桐组合在第32届东京奥运会上夺得冠军并创下世界最好成绩，不知道张、陈两位女将和上海的划船俱乐部有没有关系呢！