在山东曲阜的衍圣公府，俗称“孔府”，是典型的官衙与宅第合一的建筑群。衍圣公府的衙署和内宅之间，有一道门隔开，此门称内宅门，是衍圣公进出的必经之路。

以孔子为代表的儒家人士历来重视廉政建设，但是，也有不守规矩之人。明宪宗成化五年（1469年），孔子六十一代孙袭封衍圣公孔弘绪，因“宫室逾制”，被弹劾并剥去衍圣公爵位，废为庶人。后来，为警醒后人，孔府袭封的衍圣公请工匠绘制了这幅孔氏《戒贪图》，雕刻在内宅与衙署分界处的一堵照壁上，作为家训，告诫子孙切不可贪婪纵欲。