“吏”在中国古代经常是世袭的，他们一般都不接受系统的教育，而是接受技能教育。对于“吏”者，他们的职责是按照既定的规章和条例完成日常的事务。“刀笔吏”一词要追溯到春秋战国时期，更详细一点则要追溯到青铜器时代的一种器物——“削’。
    在我国历史上，较早的正式书写都是写在竹或木制的简上的。竹木简始于春秋时期，一直使用到公元4世纪才逐渐绝迹。由于简上的文字都是用毛笔蘸墨或漆汁书写在简片上的，所以一旦出现书写错误需要修改的时候，人们就使用一种被称为“削”的青铜利器削去一层后重写，叫做“刊”。这种青铜削又称作刀，一般长度为20厘米左右，非常便于携带。
    古时的读书人及政客常常随身携带着刀和笔，以便随时修改错误文字，因此历代的文职官吏也被称作“刀笔吏”。
    后来发展到称赞别人能写好文章为“刀笔精通”。写好字的简用绳子编连起来，可以卷起来，叫做“册”。如果文章改动的地方较多，就得抽掉几片竹简，叫做“删”，“删”字从刀，也离不了“削”，把文章送给别人看，自谦的话是请予“斧正”，意即修改的地方太多，不妨像用斧子一样大刀阔斧地砍过去。