因与王安石政见不和，富弼被贬至亳州任外官。在亳州任上，富弼又因拒不执行青苗法，被自己早年的门生赵宗道的小儿子、时任常平仓提举的赵济弹劾，改知汝州。于是，富弼屡次上疏，请求回洛阳养疾，终于在熙拧四年获得恩准，以司徒使相致仕。按朝廷旧例，前宰相以使相致仕者给全额俸禄，但富弼只认领三公官职的一百二十千钱，其余不受。退居洛阳后，富弼独居还政堂，终日闭门谢客，清心学道。

邵雍听说后，立即登门拜访。

富弼的府邸离邵雍的安乐窝不远，邵雍坐着小车来到他家门口。

通报姓名后，门子告诉邵雍，主人正在午睡。邵雍便向门子要来纸笔，写了一首诗，请门子待主人醒后转交，随后转身而去。

富弼醒来后，门子将邵雍写的诗呈上，只见纸上写着：

等候人间七十年，

便如平子赋归田。

知时所得诚多矣，

养志其谁曰不然。

况有林泉情悦乐，

却无官守事拘牵。

小车近日曾驰谒，

正值夫君春昼眠。

意思是说，你在人间等候了七十年，就像秦时的东陵侯邵平一样在秦亡后隐居不仕。了解天时得到的好处一定会很多，涵养夙志又有谁会说做得不对呢？何况还有隐居林泉之下的快乐情趣，而没有做官时的琐事纠缠。我最近曾坐着小车跑来拜访你，不巧正碰上先生你在春光里午休。

富弼从笔迹上看出是邵雍的手笔，随即吩咐门子：“以后只要是邵先生来访，不管是什么时候，都要通知我。”

门子然诺。

几天后，邵雍又一次来到富弼的府邸拜访，门子立即把邵雍引至还政堂前。

富弼由两个身穿青衣的苍头一左一右地搀扶着迎到门前。

邵雍见富弼身躯魁伟，大腹便便，才走几步路就脸色发青、气喘吁吁，便故意和他开玩笑，说：“本来是天大的好事，你前怕狼后怕虎不敢做。既然别人已经做了，你这样郁郁寡欢地又有什么用呢？”

富弼知道邵雍在取笑自己，也笑着说：“这件事不太好说。”

两人心照不宣地相视而笑。原来他们说的是富弼在仁宗朝当宰相时，不同意马上立后来的英宗为皇储，结果被韩琦抢了先的事。后来，英宗继位，令富弼十分尴尬。

二人坐定后，富弼对邵雍说：“现在，我们是邻居了，以后我想见你的时候，就可以让人叫你过来了。”

邵雍不卑不亢地回答：“你知道，我冬天和夏天都不出来，只有春秋两季，偶尔出来拜访亲朋故交。先生叫我来，我不一定能来，不叫我说不定哪天就来了。”

富弼被邵雍抢白地脸上有些挂不住，赶紧岔开话题，说：“听说你正在写一部大书，不知进展如何。”

邵雍说：“已经写完了，书名叫《皇极经世》。”

富弼问：“为什么叫这个名字？都写的什么内容？”

邵雍回答：“至大之谓皇，至中之谓极，至正之谓经，至变之谓世。故名《皇极经世》。”