他们在上海生活了一年之后国民党就溃逃了。父亲起初并不想到台湾，但母亲的政治警觉度很高，她判断做过平凉军法处长的父亲如果留下来，那些曾经剿共的记录未来一定会让他送命的。父亲被说服了，于是开始整理繁琐的衣物，准备搭船去台湾。临行前父亲决定把属于他勤务兵的一张行军床送给母亲的一位亲戚，那位亲戚前来取床时却被母亲半路拦截，父亲为此事甚为不悦。母亲的性格中有很高的掌控倾向，加上童年的不安全感，令她对物质产生了强烈的占有欲，而父亲这位没落王孙对面子和尊严的需求又总是远远超过金钱和物质。半路拦截的作风伤到了父亲的颜面，不善于沟通和表达的他，就把这件小事埋在心底，开始质疑起两人价值观的差异。

 民国三十八年的春天，父母搭船来到台湾暂居友人家中。父亲在政治理念上早已无法苟同老蒋的独裁作风，尤其是以德报怨不要日本人赔款这件事，父亲认为完全是越俎代庖，不尊重民意，因此不得已转而支持他也不十分欣赏的桂系将领李宗仁。那时有一群民主派的学者准备在香港支持李宗仁搞所谓的第三势力，父亲觉得与自己的理念比较接近，于是时常往返台港。他在香港住了一年半后，发现第三势力尚且不成气候，只好郁郁不乐地回返台北，参与政治的热情从此低落不兴。