恶左府及少纳言藤原通宪
藤原赖长掌权后，致力于恢复世风、礼法。对于违背律令法制的人，处罚起来毫不留情。《今镜》记载：
（藤原赖长）凡事严苛。听说很多人路上遇到他，都会被他指出失误，当场羞愧不已。
朝堂议事时，如果有人迟到或者托词缺席，藤原赖长会对其处以严惩，有时甚至会烧毁对方的家宅。奈良高僧济圆僧都曾借故推托朝廷的召见，藤原赖长便命人毁坏了他在京都的住所。
《愚管抄》记载：
世人称他为“恶左府”，这可以从他的日常行事中得到印证。鸟羽法皇临幸法胜寺时，藤原赖长破坏了中纳言藤原实衡的车辇，还派人闯入鸟羽法皇第一宠臣中纳言藤原家成府中抓捕犯人，于是，鸟羽法皇也渐渐疏远了藤原赖长，并在心里认为：“他兄长对他的评价，可一点都没错。”
可见藤原赖长确实待人严苛。正如古语所言“过犹不及”，他的行为，不仅招致群小怨恨，而且给自己带来了“恶左府”的骂名。当时，也有人对此表示反抗。《百练抄》久寿元年（1154年）条记载：
久寿元年（1154年）二月二十一日，左大臣藤原赖长于途中，遭左卫门尉平信兼射伤，问责之间，及至斗乱也。
《宇治拾遗物语》记载：
从前，有一位叫作大膳亮大夫橘以长的五位藏人。（中略）宇治左大臣藤原赖长召他觐见时，他回复：“今明两日，我需在家斋戒。”
然而，藤原赖长说：“有公职在身的人，说什么斋戒，不可借故缺席。”
橘以长虽然觉得中断斋戒不妥，但迫于藤原赖长的威势，所以还是去履行了公务。
十余天后，宇治左大臣藤原赖长府中举行一次盛大的斋戒。不仅在居所高阳院的门后立起木牌，贴上写有“物忌”的白纸，连讲经僧侣随行的童子都被拦在门外，只有僧侣准许入内。
橘以长听说这件事之后，匆匆忙忙就赶了过去。他要进门时，被两个舍人拦住说：“大人吩咐了，任何人不得入内。”
橘以长说：“是大人要召见我。”
两个舍人知道橘以长也是经常出入藤原赖长府的朝臣，就放他进去了。
橘以长进府以后，就来到藏人聚集的地方，跟人高谈阔论起来。
藤原赖长听到声音后向身边人询问道：“斋戒之日，何人在此喧哗？”
平盛兼回答：“是橘以长。”
平盛兼
藤原赖长说：“不是说了要斋戒，不让人进来么？你去问问看，他是不是昨天进来的？”
平盛兼走过去一看，尽管藏人所就在藤原赖长的寝殿附近，橘以长却在毫无顾忌地高声谈笑，他说：“前几天我斋戒的时候，大人命我觐见。我跟大人告假说我在斋戒。但大人说，我们又不是出家人，管什么斋戒，依然命我觐见。于是，我听从了大人的吩咐，前来觐见了。从那以后，我就不管什么斋戒啦！”
平盛兼将听到的内容向藤原赖长禀报，藤原赖长也无言以对。
当时，鸟羽上皇家的乳母纪伊局（从二位藤原朝子）是少纳言藤原通宪[46]的妻子。藤原通宪也因为这层关系成为鸟羽上皇的近臣。鸟羽上皇时常向他咨询国事。藤原赖长也经常与藤原通宪探讨经国之道。藤原赖长恐怕也是因为过于期待肃正风纪，所以才会如此严苛吧！
与此相对，藤原忠通虽然空有关白之名，却毫无存在感。《今镜》记载：
藤原忠通被其弟藤原赖长压制，甚至被剥夺了藤原氏家督的身份，幼帝近卫院也为他叹息。
不只近卫院，当时不少朝臣、贵族心里都更倾向于藤原忠通。