《史记》中记载了这样一个故事。东汉时许州人陈寔（shí）很注重修养。有一天夜里，一个小偷潜入了陈寔的家中，悄悄爬到屋梁上隐蔽起来，准备伺机作案。陈寔看见了他，却不慌不忙地起床整理床铺，然后命仆人把儿孙都叫起来。不一会儿，儿孙们齐聚一屋，陈寔严肃地训话道：“品德败坏的人，不一定本来就不好，只是他不严格要求自己才恶习成性，逐步堕落的。你们看，梁上的这位君子就是这样的。”趴在梁上的小偷大吃一惊，跳到地上，对陈寔叩头谢罪。
从此，人们便戏称小偷为“梁上君子”。
