孙绪的父亲孙振（沈振）自幼聪颖，好读书，于马中锡、李咨同入县学读书。孙振读书不求闻达，富而尚义，乡邻百姓都依赖他。遇到灾荒年，为帮助乡邻百姓度过难关，用火烧掉乡邻百姓的借据。里中父老都称赞他的德行。孙振终身未取功名，以子孙绪贵封吏部主事，赠文选员外郎。

孙绪生于明宪宗成化甲午年八月初二，自幼聪慧过人，警敏异常。四、五岁时还不会说话，但能手写一“贵”字，父亲孙振很惊讶。八岁请师傅入塾启蒙，能赋诗。十七岁以邑庠生入县学读书，“声称卓然”。明孝宗弘治十一年中戊午科乡试第二名，翌年进京会试，与王阳明、唐伯虎同科考试。没有受到江南才子唐伯虎舞弊案的影响，登己未科进士，殿试二甲第一名。王守仁殿试二甲第六名。孙绪初授户部主事。期间，与孙绪、王阳明同年进士的浙江籍钱晖客死通州，家贫无力归葬。当时，孙绪正好在通州有公差，闻讯后出资，把钱晖灵柩送回浙江安葬。孙绪念及钱晖家贫，呼吁同年进士捐助。但钱晖的同乡进士没有一个捐助的。孙绪愤然提笔“潇潇风雨江南路，车马何人特地来。”描写钱晖后事的凄凉，以及江南士子的冷漠。王阳明知道后问孙绪，“你对我们江南士子如此刻薄呢？”孙绪回答不含糊，“不是我刻薄，是你们自己对自己刻薄！”

弘治十四年，蒙古火筛部落之军侵犯大明边疆，朝廷遣将征讨，孙绪为随军参谋，“划策多售”，论功改任吏部稽勋主事。弘治十六年，丁外忧。服阙，官复原职。不久，升吏部文选郎中，主管“文选清吏司”。这是一个对全国文职官员考察、铨叙的拥有实权的职务。孙绪忠于职守，按程序履行公务，不畏权贵，“精察贞固，罔为私夺”，声誉渐著。明武宗即位后，大太监刘瑾得宠，权倾朝堂。一御史仗义弹劾刘瑾，立即被械下狱，朝内缄言。孙绪不畏权贵，上书皇帝替这位御史辨冤，使之免于刑罚。浙江以为姓楮的知府 ，因过失例当黜免，褚知府知孙绪在吏部主政“文选清吏司”，携巨金去私宅谒见孙绪，求其缓颊。孙绪严斥褚知府行贿的卑劣行经，轰出府门。对褚知府以律黜免。

正德五年，刘瑾伏诛。孙绪擢升太仆寺少卿，把母亲苏氏接至京城，已尽孝心。年底大雪，“日晏而养具未备，因婉辞以悦母心。”苏氏高兴的说，“惟愿始终不渝耳！”正德十年，晋太仆寺正卿。太仆寺是主管“马政”的中央机关，战马是古代军事特需，故马政为历代皇帝所重视，全国各地都由贡马限额，孙绪对此极为认真。淮安凤阳诸郡贡马瘦弱，按常规退回调换，但孙绪经实地勘察，此乃淮安荒年粮草短缺所致，下令全部收下，使淮安民众免除尽万缗的负担。解除负担而不破产的养马户达近千余家。

安徽南陵县丞韩思义，插手当地马政营私舞弊，孙绪得知后，“杖庭之而按以法”。韩思义乃权宦张雄（司礼太监）的亲信，于是派寇锦衣来给孙绪说情，希望孙绪在韩思义的问题上网开一面。孙绪不畏权贵，照章行事。张雄恼羞成怒，寻找借口诬陷孙绪，由于御史台彭公从中周旋，孙绪才得以还职。时张雄专权，矫诏将孙绪罢官，归乡闭门思过。明世宗朱厚熜即位，改国号“嘉靖”，为孙绪昭雪官复原职。

孙绪致仕家居，足不及官府，朝夕侍奉母亲苏氏。苏氏逝世后，孙绪筑“汉阴亭”、“剪韭轩”于陂东柳曲，自署“陂东居士”，闭门著书，赏花赋诗，投壶对弈。孙绪热心于公益，县学宫年久失修，残破傾圮，孙绪独力捐资修葺。对于修志亦全力关注，亲自参与润稿，使之更加充实。他还收养贫民的弃儿，使之成人自立。

孙绪才华横溢，文学造诣极深，诗词、歌赋、散文均堪成大家，散文成就尤高。在世时已获“瀛洲才子”的美誉。一生著述颇丰，著有《沙溪稿》四十卷、《无用闲谈》十二卷、《蒙求族谱》、《大学中庸放言》、《易经奇语》、《陂东新论》、《四书小说》、《语孟毛诗》、《尚书杂义》各若干卷，藏于“家邃庵”。嘉靖丁未年十月十八日卒，享年七十四岁。葬于朴庄（今故城县里老乡朴庄村）祖茔。孙绪由于长期罢官家居，在世时，其著作未能刊印行世。直到清初，故城人贾棠（进士，曾任琼州知府）率其弟子数人将马中锡、孙绪二人遗集，重新校勘整理，编为《马孙二公合集》刊刻行世。