废掉太子的念头
这时皇帝刘邦想废掉太子，立他的爱妃戚夫人所生的儿子赵王如意为太子。大臣大多进谏反对，他却置若罔闻，固守己见。
吕后[30]惊恐，不知该如何是好。有人便对她说：“留侯张良善于出谋划策，皇上很信任他！”
吕后竟然通过建成侯吕泽[31]把张良劫持了过来，愤愤地说：“您作为皇上的谋臣，现在皇上要废了太子，您竟还能高枕而卧！”
张良无奈地说：“此一时彼一时啊，皇上当初处在危难之时，能够听从我的计策。可现在天下太平，他凭自己的爱憎来更换天子，左右都是他的骨肉亲人，就是有一百个张良，又有什么用呢？”
吕泽才管不了那么多，便强迫张良为他想法子。
张良想了半天，最后说道：“哎，这真不是口舌之争能够解决的！不过皇上不能召来的人，普天之下有四个！这四个人现在都是老人了，他们都是因为皇上傲慢无礼，常侮辱人，才逃到深山，誓不做汉臣的！然而皇上却因此而敬重这四人的人品。您若能不吝啬金银财宝，让太子亲自写信，以谦卑的态度，安稳的车驾去召请他们，再通过那些能言善辩的说客去力请，他们应该会来的。若请来了，就待他们为上宾，让他们时常与太子一起上朝，好让皇上看见，皇上若见了一定会被惊讶到，他一定会来问。当皇上知道太子有这四个贤人辅佐时，这对保守太子之位一定会有帮助！”
吕泽将这些话都告诉了吕后，吕后便派吕泽一切照张良所言去做，果然迎来了这四人，便暂住在吕泽家中。
到了汉十一年（前196），黥布谋反，刘邦病了，便想派太子去平叛。那四位贤人认为如果太子带兵，地位就会不保，他们便游说建成侯吕泽，说：“太子若是带兵去了前线，即使有了功劳，他的地位也不会比现在更高；若是无功而返，反而会祸患无穷。况且和太子前往平叛的那些将领，都是曾跟着当今皇上南征北战的悍将，现在让太子去统领他们，无异于让一只羊去领导一群狼，他们必不肯出力，所以若太子去领兵，一定会无功而返。我们听说戚夫人每日陪侍皇上，皇上是铁了心地要换掉太子。为今之计，不如让吕后出面，去到皇上跟前哭诉，就说若太子领兵，不仅诸将不听调遣，反而会助长了叛将黥布的气焰，不如皇帝自己勉强带病前去指挥。”
吕泽自觉事关重大，便立刻夜见吕后。吕后便趁着刘邦有空，向他哭诉，刘邦气得大叫：“我就知道这小子不成器，还要他老子亲自上阵！”
这样，刘邦只好亲自领兵，前去平叛，群臣留守长安。大家送出征的队伍到霸上，便都回去了，张良带病又送到了曲邮[32]，他见到刘邦说：“老臣本来应该跟您一起出征的，可身体实在是病得厉害。楚国人彪悍敏捷，希望皇上不要和他们正面争锋。”
刘邦说：“子房，你虽说病了，也该强打起精神，辅助太子啊！”
这时叔孙通[33]在做太子的老师，留侯张良便做了他的助手。
汉十二年（前195），刘邦终于打败黥布，胜利归来，可他的病却很严重了，因此想换掉太子的心也愈加炽热。张良进谏，他也不听，因此张良便借着身体有病，不再问事。叔孙通则称今道古，不惜以死相谏来保住太子。刘邦无奈，只好表面上应允了他，然而心里还是想换掉。