桐城世家大族，基本上是明初经由瓦屑坝迁入的。而在此之前迁入的有影响的大姓只有两个，一个是世居县城的桂林方氏，另一个是发迹于麻溪后迁入县城的麻溪姚氏。桂林方氏宋元之际由徽州休宁经池口迁来，而麻溪姚氏元代由浙江余姚落籍桐城。

县内名门大姓除了方姚二族，较有影响的还有张、马、左、吴、叶、刘、戴、方（鲁谼）等，人数众多的尚有王、李、汪、程、胡、陈、何、江等。他们的先祖多为移民，其来源如下：

张姓约于明洪武至永乐年间由瓦屑坝迁桐城定居。大学士张英曾言：余之先自鄱阳瓦屑坝徙于桐，始祖为贵四公。《桐城张氏宗谱》也说:吾家世自贵四公由豫章徙于桐，遂占籍焉。张家由瓦屑坝迁来并无疑义。但追根溯源，桐城一带的张氏均发端于婺源甲道张氏，后文详述。这么说来，桐城张氏也可以说是族出徽州。

马姓自河南迁来，名家辈出，但人数不多，集中分布在县城一带。

左姓明洪武初年自江南泾县迁入，原居东乡，后迁入县城。
　　吴姓，麻溪、高甸等吴氏祖籍均为徽州婺源，元末明初迁入桐城。
　　叶姓，项河叶氏始祖叶灿，祖籍徽州婺源，明永乐年间迁居桐城。

刘姓，姥山刘氏由婺源迁入。刘开在《桐城刘氏支谱序略》中说：廿四公迁婺源未久，而其孙重三名克让，官安庆教授，爱桐城麻山之胜，遂卜居焉。于是命长子锦回归婺源，以奉宗祀，命次子源、子莹居桐城，以随杖履。

戴姓，仓前戴姓始祖名胜二，眀洪武年间自婺源迁桐城。戴名世所撰《戴氏宗谱序》云:“吾戴氏系出微子，为神明之胄，支裔最为蕃昌，蔓延于天下而莫盛于新安。吾桐之戴迁自新安，己三百余年于今”。

鲁谼方氏始祖方芒自婺源走猎进入桐城，遂落籍桐北。又称猎户方。

王姓，据《皖桐太原王氏族谱》记载，元末避乱南迁徽州婺源，后又迁移桐城。即桐城王氏或古塘王氏。桐城还有由鄱阳迁来之东楼王氏、龙眠王氏。

李姓，以龙河李氏较为出名，闲人暂不知族源。

汪姓，多于明初迁自徽州。白陂塘汪氏迁自休宁，高林汪氏和三安汪氏迁自婺源。

程姓，来自徽州婺源和休宁。宗洛堂程姓来自婺源，桐西大族伊洛堂程姓记载自瓦屑坝迁来。

胡姓，多来自徽州婺源和绩溪。破罡胡氏族出婺源清华胡氏。

陈姓，来自江西德安义门。

何姓，青山何氏来自婺源。

江姓，出自婺源济阳江氏。

此外还有很多迁自徽州的姓氏，比如钱、朱、徐、光、詹、萧等。这里不一一详述。仅就前文所述大族姓氏而言，便已经占了桐城人口的大半以上。从中我们能清晰地看出，桐城的徽州移民占了很大的比例，桐城与徽州的渊源不可谓不深，而其尤深者当是婺源。后世桐城文人敬奉朱子，传承宋学，与故园徽州或许大有关系。