白河上皇与藤原忠实、藤原忠通
天永四年（1113年）（天仁三年，即1110年，因天文异象等原因改元）正月一日，鸟羽院御元服，时年十一岁。摄政藤原忠实为鸟羽院加冠，左大臣源俊房为鸟羽院理发。鸟羽院元服以后，按照藤原家的惯例，摄政藤原忠实希望能将女儿藤原泰子送入宫中成为女御，因为当时皇室女子中并没有适合送入后宫的人选。然而，当时白河上皇宠爱白川殿夫人，白河上皇听从白川殿夫人的劝说，将大纳言藤原公实的女儿藤原璋子收为义女，抚养在上皇御所。关于这位白川殿夫人，《今镜》记载：
鸟羽院
白川殿夫人曾将待贤门院[32]收为义女，与白河上皇一起将她养大。这位白川殿夫人因为宿世福泽，虽然并没受到正式册封，但世人都称她为“祇园女御”。她原本只是白河上皇御所内的一名侍女，无意中被白河上皇看到她的容颜，从此深受白河上皇喜爱，集三千宠爱于一身。
这样一位深得圣宠的夫人，她的势力自然可想而知。藤原忠实希望能让自己的儿子藤原忠通迎娶白川殿夫人的义女藤原璋子，然而，白川殿夫人希望义女能成为鸟羽院的中宫，便暗中向白河上皇进言。自后三条院以来，数代天皇一直致力于削弱藤原家的势力，于是，白河上皇同意了将藤原璋子送入后宫，并立为中宫。藤原璋子身为白河上皇的义女，也就是先帝的义妹，按辈分来说，应该是鸟羽院的姑母。
不久之后，藤原璋子诞下大皇子，即崇德院，藤原忠实的失望可想而知。然而，保安元年（1120年），藤原忠实趁白河上皇行幸熊野之际，向鸟羽院提出了进献女御的请求。不久之后，白河上皇回宫，听说了这件事后，龙颜大怒。保安元年（1120年）十一月十二日晚，白河上皇命左大臣源俊房为御使，前往藤原忠实府邸，下旨停了藤原忠实关白及内览之职，并责令其闭门思过。
保安元年（1120年）十二月除目，关白之职空缺，右大臣由藤原家忠担任。由于藤原家忠不是出自摄关之家，家世不够，所以只得由藤原忠实之子藤原忠通担任内览。白河上皇说：“父亲是父亲，儿子是儿子，虽然父亲有罪，但儿子不一定有罪。”
然而，藤原忠通回答：“自古以来，从无父亲蒙罪，儿子一人任官的先例，特别是内览、一族长者之类，都必须从父亲或者兄长手中继承。所以，如果父亲不能免罪，我也不能接受这个官职。”
白河上皇无奈，只得撤销了对藤原忠实闭门思过的责罚。然而，从此以后，藤原忠实、藤原忠通父子之间开始有了嫌隙。
藤原忠通
因为藤原忠实认为，如果藤原忠通真的在乎家族的惯例，就应该向白河上皇请求让父亲官复原职，自己再从父亲手上继任内览之职。然而，藤原忠通只要求了白河上皇免除父亲的责罚，实在是不孝。
后来，鸟羽院退位，成为鸟羽上皇。藤原忠实将女儿藤原泰子送入后宫成为女御，后来藤原泰子又被立为皇后。天皇退位之后依然可以收纳女御进入后宫并册立为皇后，就是这时候开的先河。后来，鸟羽上皇给皇后藤原泰子赐了院号，即高阳院。直到这时，藤原忠实才终于得以回归政界，而父子之间的嫌隙，则越发深重。
藤原忠实被白河上皇罢免内览之职时，鸟羽院生母的兄长——大纳言藤原公实以九条藤原师辅后裔及天皇外戚的身份，向鸟羽院请求出任内览。《愚管抄》记载，商议此事时，鸟羽院为了确保商议内容不外泄，特地派人里外围了三层。
在这种情势之下，保安二年（1121年）正月，藤原忠实被再次任命为内览。不久之后，藤原忠实辞去内览之职，藤原忠通又被任命为内览。短短数月之间，父子二人数次交替担任内览之职，这也是空前之事。最终，藤原忠实大势已去，挽回无望，而父子之间也最终反目。