全省首富与书香门第
吴宓出身于陕西省泾阳县嵯峨山下的安吴堡。吴姓是大家族，是所谓的世家，分老支十余家、新支十家。吴宓家属于新支，其老一辈女主人是著名的号称全省首富的吴氏义堂“安吴寡妇”，即电视连续剧《那年花开月正圆》的女主角周莹。这位女富商，据说乐善好施。清末同治、光绪年间，每逢陕西大灾，她捐出赈济灾民款项最多，并于1895年，即光绪二十一年，受封为“一品诰命夫人”。吴宓在《吴宓自编年谱》中忆及她时曾说：“庚子慈禧太后在西安，曾蒙召见，事或有之。俗传‘且认为干女’，则决其非真实也。”至今关中老百姓仍流传，慈禧逃陕时，囊中羞涩，曾向安吴寡妇借钱云云。安吴堡吴寡妇墓旁，现仍有苍松翠柏环绕，石刻巨型牌坊耸立，这些树木是奉旨种植的，牌坊也是奉旨修建的，可见安吴寡妇当年的确是大富大贵。
吴宓一家都是读书人。祖父穆川公是邑庠生，候选教谕，曾任陕西华阴县学训导。生父芷敬公、嗣父仲旗公，均就读于味经书院，都是关中大儒刘古愚的弟子。吴宓曾说：“咸阳刘古愚太夫子，为关中近世大儒。其学在李二曲、颜习斋之间。雄深笃健，能以至诚感人。近数十年中，吾陕知名之士，无不出其门下。吾生父芷敬公、嗣父仲旗公及陈伯澜姑丈、王幼农姨丈……皆相从受业……宓儿时曾获拜谒。”（《吴宓诗集·空轩诗话》）这里提到的李二曲是明清之际哲学家，陕西周至人，重视实学，提倡“明体适用”。颜习斋是清初思想家，河北博野人，亦注重实学，强调“习行”“习动”。“太夫子”是吴宓一家对刘古愚的尊称。仲旗公清末曾任甘肃副都统，后在家乡办安吴女子学校，任校长，推行新学教育，曾集句勉励自己和儿子吴宓：“好学近乎智，力行近乎仁，知耻近乎勇。富贵不能淫，贫贱不能移，威武不能屈。”对年幼的吴宓施行了全面的崇高的道德教育。吴宓的启蒙老师即仲旗公。1900年冬，吴宓年方6岁，仲旗公在沪家中，书写方字，教吴宓认识。最初每日认三字，逐渐加多，最后每日认二十四字，仍兼复习最近十天所认之字。由于“仲旗公之教法极好”，至1901年8月，十个月之中，吴宓认识了三千余字，而能诵读戏剧、小说、弹词、传奇，以及杂志、报章、广告、传单、普通教科书。这年秋天，他随祖母由上海北归途中，多在木船上、小煤油灯下，为祖母朗读小说、剧本，以消愁解闷。8岁时，嗣母雷孺人严加管教，“读了《史鉴节要便读》《唐诗别裁》等书，能背诵，成为宓文史之学的最先基础”（吴宓语）。嗣母还教以《蒙学报》，兼读《泰西新史揽要》（19世纪史）、《地球韵言》（世界地理），又翻阅每期《新民丛报》。该报系旧民主主义革命期间改良派的重要期刊，梁启超主编，介绍西方政治学说，抨击封建顽固派，对当时知识界影响颇大。特别是梁氏所作政论文，流利畅达，感情奔放，为当时许多读书人所喜爱并模仿，成为一时风尚。少年吴宓喜读梁文，晚年曾说“儿时读《新民丛报》，即于梁任公先生倾佩甚至。梁先生之行事及文章，恒大影响我之思想精神”（《吴宓诗集·空轩诗话》）。他一生用的文体是梁启超式的文言文散文，就是一大明证。
吴宓爱读诗，喜作诗，自幼即受姑丈——诗人陈涛（字伯澜）的影响。陈是陕西三原人，光绪十五年（1889年）解元，亦是刘古愚的及门弟子，后在广东为粤督幕府，尝问学于康有为。康有为在为陈的《审安斋诗集》写的序言中，称赞陈诗像杜甫、李商隐的诗，有“沉痛飞惊，歌泣缠营，哀厉幽清，悱恻芳馨”之句。吴宓从陈学诗，也最爱杜诗、李诗。吴宓最早的诗友是他表兄胡文豹（字仲侯），当时两人均肄业于三原宏道学堂。宏道为新式学校，校长为吴宓七舅胡平甫，胡为举人，留学日本，该校开设各种新式文理课程，聘日本人谢华宽功等3人为化学、博物及军体教授。吴宓入丁班，全班学生30余人，其中有秀才多名，年龄最长的30余岁，吴宓年最幼，仅13岁，身材亦最矮小，但英、算成绩列第一。课余与胡文豹办刊物《陕西杂志》，自任编辑，创作《陕西梦传奇》及叙述日俄战争的爱国小说。
古人说：“知子莫若父。”（《管子·大匡》）吴宓有生父及嗣父二人，哪一位最了解他呢？细读吴宓诗词、日记、信件及文章，答案似乎是嗣父超过生父，吴宓对嗣父的亲切感或许也超过了生父。1914年6月27日日记有如下一段记叙：“余自出校来，日间虽与爹（吴宓称其生父曰‘爹’，称其嗣父曰‘父’）少谈，而意常不合。余之德业、学问、文章，夙昔常自负稍异常人，而誓将致力用心于无埃者也。而爹则毫不过问。嗟乎，人皆欲其子之肖己，而不望其为古今国家世界之一人物。此中国教育之所以坏也。爹之所谈，其关系皆甚小，而处处不脱金钱功利之意味。‘莫愁父母无黄金，天下风尘儿亦得。’哀吟此诗，热泪涔涔。爹或望其子之如此，而余不然。此后与家庭之关系当以渐疏，宁为不肖子，必为有用之人物。噫，余心苦矣！”
看来，这位“爹”的人生观与少年吴宓的人生观大相径庭。而纵观吴宓有关“父”的论述，似乎可得出另一结论，即那位“父”的人生观颇与吴宓的人生观吻合，他一反其兄对儿子的所作所为，经常过问吴宓的德业、学问、文章，而经济上又大力支持。也是同日日记，吴宓先写“爹”在他的日常用度上“久不付资”，令他大苦拮据。接着写“父”如何爱他，“昨岁，父在京，两月之间，付二百元。此生宁可得再？”于是，吴宓与“爹”那个家庭之关系“渐疏”，而与“父”那个家庭之关系则“渐密”。
嵯峨苍苍，泾水泱泱，安吴人杰地灵，造化钟毓，再加上吴家良好的教育，怎能不孕育出吴宓这样在文化上、学术上“有用之人物”呢？