绿色喻为“贱”自《诗经》始，《邶风·绿衣》中“绿衣黄裳，心之忧矣”，是说古人以黄色为上，绿色为下，而绿作了上衣，黄作了下裳，上下易位，比喻夫人失位贱妾上僭，所以“心中忧矣”。绿色在三千年前已被视为卑微卑贱。

“戴绿帽子”是指妻子与别人私通的丈夫，这种说法一开始不是这样的。春秋时，有卖自己的妻女求食者，都要裹绿头巾，以别贵贱。从这里看已经有了羞辱的意味。到了汉代仍然如此，《汉书·东方朔传》中记，馆陶公主是汉武帝的姑母，中年后寡居。后来和很年轻的情夫董偃出双入对，一日汉武帝来看姑母，她让董偃出来觐见，董戴“绿绩”谒见汉武帝。这种打扮是奴才身分。李白有诗云：“绿绩谁家子，采珠轻薄儿。”唐代贞元年间，《封氏见闻录》记载，延陵令李封对凡是犯罪错的官吏不加杖罚，只是让他裹绿头巾以示羞辱，错误严重的戴的时间长，轻微的则短，可见“戴绿头巾”已经作为了一种惩戒。