胡穆，余姚县柏山人。柏山胡氏是名门世家之后，有着良好的文化底蕴。北宋庆历间，胡穆就高中进士，这是有史记载的宋代余姚第一位进士。

胡氏的先世居住在豫章奉新县的华林（今属江西省奉新县）。唐朝末年，华林胡琼出仕为常州刺史，于是在常州晋陵县（今属江苏省常州市）安家落户。五代时期，江淮多战乱，江南则相对安定富庶。后周世宗显德二年（955年），胡琼之孙胡从自晋陵县安上乡胡桥村，辗转迁到余姚县柏山。

　柏山胡氏堂号“惇裕堂”，自迁居余姚后，后世子孙累科高举，官宦连绵。北宋皇祐元年(1049)，胡从曾孙胡穆桂中二甲进士，为宋代余姚第一位进士。此后五世之内，又有六人中进士，其中最著名的为胡沂。