滕代远在担任铁道部长期间，不是坐在机关等着听汇报，而是深入基层现场，直接到各段、站办公地点、职工宿舍、行车公寓、公共食堂、子弟学校、幼儿园和托儿所等处实地考察，听取干部群众的意见和建议。1962年11月，他到东北局检查工作，当时国务院正在号召全国各单位精简机构，东北一个铁路分局不但不减员，还要求增加定员。滕代远得知后，亲自到该局的各个工作地段进行调查，与该局的领导干部和职工群众反复研究挖掘人力，结果不但精简了人员，后来各项工作开展得有色有声。滕代远常说：基层是机关的镜子，我们检查下面工作的同时，也在检查自己的工作。我们发了那么多的指示文件，制定了那么多的规章制度，如不及时征询下面的意见，就难免不犯主观主义的错误。1955年6月，滕代远到兰州铁路局视察工作时，专门走访了铁路沿线的群众，当地群众对铁路部门修建古典式的豪华办公楼意见很大，他们把三座办公楼称为：兰州三大殿。这件事对滕代远震动很大，他严肃地批评这些单位在基本建设上不顾国家经济实力和人民群众切身利益的错误倾向，告诫这些单位领导，一时一刻也不能放松对铁路职工进行艰苦奋斗的教育。