霍英东利用市场调整期，开始改组霍兴业堂有限公司。霍兴业堂是霍英东涉足地产行业后成立的第一间公司，也是霍氏集团几十间公司之旗舰，其股权原来由霍英东和大太太吕燕妮持有；而后股权有所变化，主要股权分配给霍英东和吕燕妮所生的几名子女，少数股权分配给其母亲刘氏、其妹霍慕勤和二太太冯坚妮。
1967年2月，霍英东成立一间名为Beaulieu的有限公司，将霍兴业堂的控制权转移到这间公司，但保留其家人分取利润的权益。这家新公司的股东并不是霍英东及其妻子、儿女，而是另有他人，分别是其妹霍慕勤、妹夫蔡源霖，以及霍铭波、彭延匡和屈洪畴，其中屈洪畴是霍英东多年聘用的会计师。
这样的安排表明：霍英东不是要放弃对霍兴业堂的控制权，而是利用Beaulieu遥控霍兴业堂的业务和资产。
霍英东清楚港英当局不希望他在香港工商界越做越大，想尽办法要限制他的发展。他在1967年2月对霍兴业堂改组，目的为家族生意和家族财产安排一个妥善的退路；这被视为霍英东淡出商界的第一步。此后由于香港发生了工潮运动，社会冲突不断，霍英东决意离开香港一段时间，巡游欧美。
1967年底，避开了工潮的霍英东回到香港。却不小心卷入“星光行”事件，令他的地产事业大受影响。
星光行（九龙商业大厦）是霍英东和另外三个集团合资，组成九龙置地公司在1962年开建，整栋大厦共投资3000万港元，是一项大地产项目，霍英东个人承担总投资的60%。星光行主要用于收租。
星光行位于尖沙咀，位置极佳，其中一个较大的租户就是中艺公司。“中艺”以经营中国工艺品为主，有中资背景。当时港府限制中资企业发展，霍英东把星光行租予“中艺”，自然被港英政府视为亲中的表现。
整治就从星光行入手，首先，美国驻香港领事将星光行列入“黑名单”，宣布所有星光行的租客都不能买卖美国货。
不少租客因此对星光行望而却步，霍英东被迫决定以每英尺9毫钱的超低价租出。因为他算过，若以这个价钱把整幢星光行出租，只要熬过7年，就可赚回所有投资。低价有吸引力，不少租客回头，但香港电话公司出恶招，给有意租用星光行的商户打去电话，“忠告”他们：最好不要租星光行，如果租下来，接通电话可能遥遥无期。
如此打击，商家撤离，星光行变成死楼，毫无生气。霍英东和几个股东商量后，决定出售星光行。英资置地公司找到霍英东，再三权衡之后，霍英东被迫出售星光行。
由于港英政府着意“封杀”霍英东的发展空间，1967年之后的霍英东，已经改变投资策略，以退为攻，步步为营，并逐渐淡出香港的地产市场。
霍英东之后的一些华资商人，如郭得胜、李兆基、李嘉诚、胡应湘、郑裕彤等，进军地产市场，并大有斩获，财富剧增，成为香港地产行业的中流砥柱；到了70年代初期，华资地产商已强大到足以与英资分庭抗礼。而霍英东，却只能旁观郭得胜、李嘉诚、李兆基等人，兴建一个又一个屋村，大发地产财。
自此，霍英东很少在香港商界呼风唤雨。这个昔日红极一时的商人、地产奇才、商界领袖，不再意气风发，勇往直前，而是沉默了。
加载中…