远在春秋战国时期，由于兵祸连连不绝，穷苦男人为环境所迫而不得不卖妻卖女时，常常头上自戴一块绿色的头巾，表示赤贫。

     而在唐朝的李封担任延陵县令时，为了惩戒一些办事不力的下属，将古时戴头巾的习俗借用。下属犯错时，他通常不加打骂，却叫犯错之人用绿色头巾裹头，并以犯错的轻重程度来判定戴绿头巾的时间长久。从此以后，人们便以戴绿头巾为奇耻大辱。

     到了元朝至正五年规定，妓院的男性工作人员要戴绿头巾。又根据清梁同书《直语补证》引明人《杂俎》记载：明朝初年，官方开办的歌妓院称为乐户，娼妓戴绿头巾以示地位低贱。

     到了后来，民间就以“戴绿头巾”、“戴绿帽子”为贬义词。而当某人的妻子与别人通奸时，则称此男子“戴绿头巾”或“戴绿帽子”。