高弼，字良佐，明山东东昌府高唐州武城县高行杖（今河北省故城县军屯镇高行杖村）人，祖籍山东登州府莱阳县杏花村。高弼的曾祖父高德新奉郡府之命，携祖母李氏和有才、有贵两个儿子迁民京师真定府冀州枣强县，再由枣强县派迁各地入籍。高德新带领一家四口从老家莱阳往西奔枣强迁移。就在高德新一家西迁的艰难跋涉途中，高德新病倒了，死在了西迁途中。李氏祖母在路人的帮助下，把丈夫掩埋在路边，抔土为坟，插柳为记。李氏祖母继续带领两个儿子前行。历经千难万险，来到运河西子游庙附近，行杖之地之南，以蔡河河滩无主地为依托落地生根，娶妻生子，开枝散叶。这块蔡河北岸的高地北部紧靠行杖之地，后聚集成村，取名“高行杖”，遂入籍武城县。李氏祖母凭借勤劳的双手，带领大家开启武城县高氏家族的新征程。经过几代人的努力，高氏家族成为武城县远近闻名的大家族。到高弼这一代，为高家第四代。高氏家族已进入殷实家族的行列。随着高氏家族物质基础的提高，对后代孩子们的教育提上议事日程。这里从元代重修吴公祠、弦歌台、弦歌书院，是武城县教育的圣地，吸引着周边诸县的学子来此就学，听到的是琅琅的读书声，这样的教育氛围对孩子们的影响是巨大的。特别是王行杖梁氏家族的崛起，国子监助教梁端致仕还乡，梁端精通五经，读书观理，垂老不倦的态度，的孩子们最好的启蒙老师。高家李氏祖母敏锐的感觉到家族崛起的关键在于读书，于是孩提时代必须读书，接受启蒙教育成为高家最早的家规。李氏祖母的孙子高昱（高弼的父亲）因在弦歌书院成绩优秀，升入京师国子监读书，成为“岁贡生”。后授光禄寺监事。因子高弼贵赠奉训大夫、户部员外郎。高昱的入仕是高氏家族崛起的开始，这也了却了李氏祖母的一个心愿，她盼望着子孙们更加发扬光大。