横源村为张姓聚居，据载这里的张氏族人由北宋理学家张载的后裔从陕西横渠迁来。并因为来源横渠的给村子取名“横源”。村分新、老两族，昔有九井十三祠，是个大村旺族。老族号称“冠盖里”，意指人才辈出。

横源村背靠小山，坐西朝东，村中格局完整，是一个专门设计过的村子。其街巷有三横一纵，被当地称为“王字街”。村口池塘、村门、旗杆石、古井、古树、围墙，加上王字街，被村人附会为 “虎头形”。

这座村落也是封闭型的村落，对外四座村门，一圈村墙。虽然村墙多已残缺全，但是内部的建筑排列紧密，巷道纵深有门坊隔开，纵横街巷交汇处设有过街门楼，内外界限非常清楚，层次分明，街巷界面也高耸封闭。

道路正对着的就是村子最著名的建筑是号称“九十九重门”的明代州司马府宅，主人指的是明隆庆五年（公元1571年）进士张应雷（湖州府推官）。

张应雷还是一位书法大家，万历年间张应雷应邀为其岳父家金溪蒲塘村徐氏家族修缮旌义坊题写“名荐天朝”。明代刘章彜在《金溪总说》中赞张应雷书法“墨妙子昂之意”。