文庙奉祀用牌位还是用像，一直是儒家争论的焦点。朱熹认为，先圣本不应当设像，春秋祭祀时只设主可也；邱浚认为，塑像之设，中国无之，自佛教入中国始有也；姚燧则认为，《北史》记载敢有造泥铜人者门诛，则泥人固非中土为主意祀圣人法也。以上儒家人物都认为孔子庙设像不当。明嘉靖九年（1530年），终于结束了争论，确定曲阜孔子庙保留塑像，其他各地文庙一律改为木主。
