卢村又名雉山村，地处交通要道羊栈岭南侧。据《黟县雉山卢氏宗谱》记载：卢氏与姜氏同源，卢氏之先自太公封于齐，后裔姜高因战乱曾采食于芦，为使后裔牢记艰辛，因此以卢作为姓氏。汉高祖时，卢绾开国有功，封为燕王，封地在河北涿郡，后改为范阳郡，其后裔卢冬美的儿子卢易迁居安徽宣城。

卢易生子卢振迁太平县葛村，就是现在的黄山区郭村一带。卢振育有三子，第三子卢玄看到黟北山川秀丽、土沃泉甘，十分爱慕，就在南唐末年由葛村迁往雉山，成为雉山卢氏的始迁祖，至今已有一千多年的历史。

卢村文风昌盛，名人辈出，为官者很多。北宋太平兴国时期，卢储位至吏部尚书，文笔极佳，宋太宗誉其：“修饰润色，献纳论思，极一时之妙选，为儒者之至荣”；卢麟官至南宋绍兴年间左丞相，兼兵部侍郎；卢臣忠为北宋进士，历任显要，南宋高宗特赠谏议大夫，称赞他“介洁不群，端静有守，自居言责，达于闻听”……
卢村靠山临水，村西小溪名下门溪，村东小溪称前街溪，至村南汇合而成丰栈河。村东民宅依溪而建，临水一侧多挑出，建有敞廊，别有一番情趣。一级级青石抬阶，一座座小木桥，使人感觉身处山村，却又似在水乡。