在野党的变化
尽管1998年新民主党成立后赢得了同年举行的参议院选举，但党内在是否修改宪法和安全保障问题上存在严重对立，其中较为突出的是以横路孝弘为中心的旧社会党集团和以鸠山由纪夫为中心的保守集团。因此，在1999年7月国会审议表决《国旗国歌法案》时，民主党内部出现赞成与反对两派，最后决定各自自由投票。结果在众议院代理干事长鸠山等45人投赞成票，党代表菅直人等46人投反对票，1人弃权；在参议院赞成20人，反对31人。自民党批判民主党在国家根本问题上四分五裂， (37) 民主党内部出现对领导机构的不满声音，鸠山在党内保守集团的支持下当选为新代表。
民主党在2000年8月的大选中获胜，鸠山由纪夫无投票再次当选党代表。鸠山安排支持自己连任党代表的羽田孜为特别代表，并任命自己的竞争对手菅直人为干事长，引起政界及媒体的猜疑。本来在大选刚结束会见记者时，鸠山还表示“羽田继续担任干事长或者起用年轻一代” (38) 。由于党内缺乏凝聚力，民主党没有较好地利用自民党围绕森喜朗内阁不信任案出现的分裂局面而获得政权。
面对得到国民支持的小泉内阁，民主党没有提出较好的对策，讨论的最终结论是采取相矛盾的方针，即“支持小泉的结构改革，批判自民党的体制”。结果在2001年7月的参议院选举中，自民党大胜，民主党稍微增加议席，改选22席，获得26席。其后民主党既没有认真总结经验，也没有对连续出现辞职丑闻的自民党形成较大压力，党内的注意力集中到2002年9月的党代表选举上。
在此次实施党支持者邮寄投票的选举中，第一轮投票的顺序为鸠山由纪夫、菅直人、野田佳彦、横路孝弘。在前两位决胜投票中，鸠山以254票击败菅直人的242票，再次当选党代表。但在其后的人事安排中，鸠山指名中野宽成为干事长，引起党内的激烈反对，批判其为“露骨的论功行赏”，鸠山只好让中野自动辞职，结果引起更大的混乱。同时，鸠山没有提出对抗自民党的独特政策方针，在党首讨论中未能遏制小泉的攻势。在10月举行的众参两院7选区统一补缺选举中，民主党仅获得一个众议院席位，惨遭失败，引起党内的不满。
11月29日，鸠山紧急会见记者，呼吁在野党合作的重要性。同日晚上与自由党党首小泽一郎会谈，鸠山表示拼命推动联合新党的实现。结果党内出现较大的反对意见，鸠山被迫在12月初辞去党代表职务。在随后举行的选举中，菅直人以104票击败代理干事长冈田克也的79票当选为新代表。民主党在党的人事上起用年轻一代，冈田克也担任干事长，枝野幸男担任政务调查会长，野田佳彦担任国会对策委员长。但对菅直人持批判态度的熊谷弘、佐藤敬夫等5人退出民主党，与保守党组成保守新党，党首为熊谷弘，仍与自民党、公明党组成联合政权，没有参加保守新党的原保守党党首野田毅等三人加入自民党。 (39)
擅长辩论的菅直人在2003年1月众议院预算委员会上对小泉首相发起攻势。小泉在竞选自民党总裁时承诺每年发行国债控制在30万亿日元以下，但在2003年度的政府预算方案中，发行国债数量达到36万亿日元。小泉回答质询时失言，“没有遵守诺言不算大事”，结果引起在野党和舆论的批判。
其后民主党与自由党的合并协商持续进行，在2003年3月设置“政权构想协议会”，决定在众议员100个选区统一推荐候选人。民主党内鸠山等人积极开展推动两党合并的签名活动，但反对声音较大，只是在5月形成了统一会派构想的提案。但提案遭到自由党小泽一郎的反对，菅直人以民主党吸收自由党的方式合并，压制了党内的反对派。2003年7月23日，民主党菅直人代表和自由党小泽一郎党首举行会谈，并达成两党合并的协议。9月24日，两党首签署民主党继续存在、自由党解散后合并到民主党的合并协议书。10月5日，召开合并大会，民主党174名议员及自由党30名议员参加，超过200名议员的在野党是1955年社会党、1994年新进党以来战后第三次出现。根据合并协议书，以成为执政党为目标而“求大同存小异”，党代表为菅直人，原封不动地继承民主党的领导机构、党的章程、政策、政权公约等。
在2003年11月举行的大选中，民主党提出政权公约，具体政策为：废除道路公团，除大城市外高速公路免费；基础养老金国家负担率从三分之一提高到二分之一，探讨将来提高消费税的可能性；对地方自治体的补助金削减18万亿日元，推动地方分权；反对派遣自卫队复兴伊拉克等。在此次大选中，比例代表区民主党获得了2200万张选票，超过了自民党的2000万张，在众议院的席位也有所接近，民主党的177席对自民党的237席，逐渐出现两大政党的雏形。
民主党与自由党合并以及提出政权公约是大选获胜的主要原因，因而选举后小泽一郎成为代理党代表和影子内阁副首相，成为民主党第二号领导人物。在2004年初召集的通常国会上，菅直人追究自民党实力人物未交纳养国民老金保险费问题，但他本人在1996年担任厚生大臣时也未交纳，党内出现批判声音，菅直人在2004年5月辞去党代表职务。小泽代理党代表自然成为新代表的有力人选，而且党内基本形成一致意见，但小泽也被揭露从1980年4月到1986年3月未交纳国民养老金保险费。干事长冈田克也成为唯一的为候选人，并得到两院议员全体会议的同意。
尽管冈田领导的民主党获得2004年参议院选举的胜利，但在2005年9月的大选中惨遭失败，冈田辞去党代表职务，经过选举，年轻的前原诚司为新党代表。2006年3月，前原因“虚假电子邮件事件”辞职。同年4月，民主党投票选举新代表，结果小泽一郎以119票当选，菅直人获得72票。小泽任党代表、菅直人任代理代表、鸠山由纪夫任干事长、渡部恒三任国会对策委员长的新领导体制建立。在23日举行的千叶7区众议院补缺选举中，由于小泽骑自行车遍访该选区的选民，击败本来比较有胜算的自民党候选人，赢得选举胜利，再次奠定了小泽“选举神话”的基础。
1996年9月，土井多贺子担任社民党党首后，政策转换处在停滞状态，党内出现路线对立的局面。许多议员转到民主党，因而在同年10月的大选中议席减少半数。在2000年6月的大选中，民社党提出“弱者优先政治”的口号，得到部分民众的支持，因而席位有所增加，其中女性占半数。在7月的党大会上，土井连任党首，选举女众议员辻元清美担任政策审议会长。2001年的参议院选举，社民党席位减半，辻元清美也因挪用公职秘书工资等问题辞去议员职务并被起诉。
2003年11月大选，社民党议席减少到选举前的三分之一，在小选区中也仅保住冲绳的一个议席。土井多贺子为此辞去社民党党首职务，女性干事长福岛瑞穗接任党首职务。2003年12月，社民党举行党大会，选举又市征治参议员为干事长，阿部知子众议员为政策审议会长。福岛党首宣布“社民党新生对策”，保持党的独立，以区别于自民党、民主党的第三势力为目标，强化党组织，深化维护宪法等的理念和政策等。
2005年8月大选前，副党首和原政策审议会长脱离民社党，作为民主党候选人参加大选。在此次选举中，正在缓期执行中的辻元清美在大阪10区竞选失败，但在比例代表区复活，同样在小选区落选的土井多贺子因排名在后，未能在比例代表区复活。在2006年2月召集的社民党第10届大会上，通过了《社会民主党宣言》，其中指出自卫队明显处在违宪状态，应逐渐缩小，实现非武装日本。同时取消9人在1993年因反对政治改革相关法案而遭受的处分，恢复其名誉，原党首村山富市、土井多贺子为“名誉党首”。
在90年代中期，由于社民党与自民党组成联合政权，并大幅度改变政策，其部分支持者转到唯一革新政党的日本共产党，从而使该党势力有较大的增长。在1996年首次实施小选区比例代表区并立制的大选中，该党大幅度增加席位，而且获得两个小选区的席位；在1997年的东京都议会选举中，其议席从13席增加到26席，议席占有率为20.5%，成为都议会中第二大党；在1998年的参议院选举中，不仅议席增加一倍，甚至在比例代表区获得820万张选票，得票率为14.6%，均创历史最高记录。 (40) 该党成为在参议院拥有23个席位的第三大党，并获得“带有预算法案的提案权”。
在2000年6月的大选中，日本共产党在比例代表区获得671万张选票，但议席减少6个，并失去两个小选区的席位，因此，在同年11月召开的第22届日本共产党大会上，对党的章程加以修改，删除了“前卫”“社会主义革命”等词汇。同时选举不破哲三为中央委员会议长，志位和夫为干部会委员长，市田忠雄为书记局长。由于在2001年7月的参议院选举和2003年4月的统一地方选举中连续失利，日本共产党在2003年6月的大会上修改了党纲领，其中主要的变化有：“革命”词汇消失，提倡“社会主义式变革”，在“国民同意”的基础上废除天皇制或建立民主联合政权，而且社会主义式变革的道路需要较长的时间，创造性地探讨未来社会等。尽管如此，日本共产党在2003年11月的大选中惨遭失败，在众议院的席位从20个减少到9个，在比例代表区仅获得458万张选票。 (41)
2006年1月11日，日本共产党召开第24届大会，不破哲三因年龄和健康原因辞去议长职务，确立志位委员长、市田忠雄书记局长体制。由于日本共产党在所有小选区推荐候选人，结果形成对在野党候选人不利、对执政党候选人有利的局面，而且因获得的选票低于10%的规定，所以大多选区的候选人保证金被没收。