霍州署衙相传为隋朝中郎将宋老生的幕府，又为唐尉迟恭的帅府行辕。其作为州治衙署，至今已历时1300多年。“吏不畏严，而畏吾廉；民不服吾能，而服吾公，公则民不敢慢，廉则吏不敢欺。公生明，廉生威”就出自明代霍州学正曹端之口。