据志书记载：在孤山南麓有三贤堂，祀白乐天、林和靖、苏子瞻三贤像，南宋乾道五年（1169）临安知府重建。明正德间，杭州知府杨孟瑛以邺候（即李泌）增祀，称四贤祠；其后杭人又增杨公，称五贤。然明代著名文学家田汝成在他著的《西湖游览志》中评道：西湖开浚之绩，古今尤著者，白乐天、苏子瞻、杨温甫三公而已。后来杭人称他们三人为建浚西湖的贤郡守，简称为“西湖三贤”。
