命运的改变是从胡蝶的30箱珠宝丢失开始的。为了逃避与日本人合作，胡蝶将前半生的所有积蓄打理成30个箱子托人运往内地，谁知珠宝在半路丢失，得知消息的胡蝶大病一场。为寻得原物，一个朋友就把她介绍给特务头子戴笠。听说戴笠有办法找回珠宝，胡蝶便硬着头皮与其交往。戴笠慕名胡蝶已久，为博美人开心，不惜自己掏钱，买回一些相同的珠宝给胡蝶交差。

胡蝶与丈夫潘有声的感情非常好，就在胡蝶把珠宝都丢了时，潘有声还安慰她说，没关系的，他会想办法养好这个家。还把自己生意上的规划讲给胡蝶听，让胡蝶很觉得安慰。而戴笠对胡蝶的爱完全不同，他所做的一切都是为了得到胡蝶。

为达目的，戴笠又使出一招，派人打发潘有声去昆明做生意。潘有声一走，戴笠便强行占有了胡蝶。自此，胡蝶开始了在重庆被幽禁三年的日子。潘有声一走，戴笠就让胡蝶住进杨家山公馆。胡蝶嫌公馆的窗户狭小，楼前景物不好看，戴笠马上派人在公馆前重建别墅。还从印度空运来胡蝶喜欢吃的水果，买来一大堆鞋子让胡蝶挑选。甚至花费上万银元弄了个大花园，每天陪胡蝶散步。

戴笠准备在1946年下旬迎娶胡蝶，此时他搭乘的飞机遇难，胡蝶终于结束了被幽禁的日子，重获自由。胡蝶的回忆录中没有提及这段历史，只是写了些无关紧要的小事情，从这点上可看出胡蝶处世的圆润。