黄粱梦的故事源自唐代沈既济的《枕中记》，因其寓意深刻，后世流传颇广。据传该故事发生在邯郸，因此建造了相关的庙宇。最早肇建于北宋时期，现存为明代之后的建筑。庙中有很多石碑，记录重修的过程，以及游人的题记、题诗等。因故事疑与吕洞宾有关，所以庙中有关八仙的建筑占了多数，庙也称作黄粱梦吕仙祠。

庙的大门朝西开，进门面对的是八仙阁。但整座建筑仍是传统的坐北朝南格局，最南面是“蓬莱仙境”的照壁。步入丹门，是八卦亭和古莲花池。然后依次是钟离殿（供奉八仙之首的汉钟离），吕祖殿（供奉八仙中名气最大的吕洞宾）。最后的主殿是卢生殿，殿内有一尊铜铸的卢生卧像，似在睡梦中。据说卢生殿是国内孤例，没在其它地方发现有同类建筑。

黄粱一梦，是劝诫世人不要汲汲于俗世的荣华富贵，近于道家思想。八仙属于道家，所以将八仙与卢生合在一起供奉，宣扬的是道教。人生如梦，不过一枕黄粱，不如去求道更能永恒。

主轴两侧亦建有院落，据说八国联军占领北京，慈禧携光绪西逃，后来和约签订，返京途中曾在这里歇脚。现今被辟作慈禧和光绪的展览，名为慈禧行宫和光绪行宫。当时慈禧可能从邯郸经过，但是否在这里歇脚就不太确定了。

梦谁都会做，但做这么出名的梦很难。