曹雪芹纪念馆位于香山脚下北京植物园园内东部，这一带明朝时称黄叶村，清代叫正白旗。

    胡适先生根据曹雪芹的好友张宜泉、敦诚、敦敏的诗考证，曹雪芹曾在北京西山生活。张宜泉《题芹溪居士》中写道，“爱将笔墨逞风流，庐结西郊别样幽。门外山川供绘画，堂前花鸟入吟讴。”敦诚《寄怀曹雪芹霑》中写道，“劝君莫弹食客铗，劝君莫扣富儿门。残杯冷炙有德色，不如著书黄叶村。”敦敏《西郊同人游眺兼有所吊》中写道，“秋色召人上古墩，西风瑟瑟敞平原。遥山千叠白云径，清磬一声黄叶村。”

    北京香山地区流传着曹雪芹生活和著书的故事，其中，香山正黄旗老人张永海讲述的故事最详细。老人所讲，不仅与张宜泉等友人诗中的描述吻合，也与曹家的经历以及后来发现的资料与实物相关联，有很高的参考价值。1963年，老人提到，曹雪芹的朋友鄂比送给曹雪芹一副对联，“远富近贫以礼相交天下有，疏亲慢友因财绝义世间多。”

    1971年，香山正白旗39号的老屋中，发现了一些题写在墙壁上的诗文，其中，有一菱形诗，与张永海提到的对联非常相近，“远富近贫以礼相交天下少，疏亲慢友因财而散世间多。”题壁诗的发现，引起了红学界的关注。北京市民张行存有一对黄松木书箱，书箱上的笔迹和兰花与题壁诗的书法、画法非常相似。专家认为，这对书箱是朋友送给曹雪芹的礼物。曾临摹曹雪芹遗著《废艺斋集稿》的孔祥泽先生认为，题壁诗中的部分文字是曹雪芹的手迹。从诸多的资料和实物中可以推测，香山正白旗39号老屋是曹雪芹故居。

    老屋究竟是不是曹雪芹故居，没有定论，但在他曾经生活和著书的环境里建立一座纪念馆，得到了多方支持。以正白旗39号为基础的黄叶村曹雪芹纪念馆于1984年4月22日成立。