清代中后期，顺德龙江温氏家族中，历代有人考取进士，入朝为官。温少曼的高祖父温汝适官至兵部右侍郎，传说是嘉庆帝太子时教习书法和文学的老师，曾祖父温承悌，道光进士、丙戌翰林、刑部主事。高伯父温汝遂、温汝述和五伯父温其球是岭南著名画家。祖父温子绍是中国近代军工业创始人，受光绪帝二品顶戴赏封、任广东军装机器局总办，曾自筹资金，研制出中国第一艘可与英国战舰相媲美的炮舰“海东雄”。温少曼出生时温家已家道中落，其祖父兴建的占地几百亩的“湛华园”已破败，家族人多在海外经商。
