切断济南的对外交通线
但是，要取得济南战役的胜利，依然不是易事。
济南不是孤城。要进攻济南，首先需要切断它的对外铁路线，也就是胶济铁路和津浦铁路。相比起来，向南的津浦铁路中段比较难攻，国民党当局新建了一个第十绥靖区，兵力较强，而且同徐州直接相连，国民党军的援军较易开来。自以先攻胶济路为宜。
国民党军控制下的胶济铁路，又有以周村为中心的西段和以潍县为中心的中段之别。先从哪一段下手？1948年3月1日，当新式整军运动告一段落时，毛泽东立刻为中共中央军委起草发电：“许谭所部除留十三纵于胶东外，主力七九两纵配合渤海地方兵团，寅月上旬开始向胶济西段作战。”[7]这就很明确了：先打的是“胶济西段”，时间是3月上旬。4日，中共中央军委又电令第七、九、十二纵队为华东野战军第二兵团，许世友为司令员，谭震林为政治委员，亦称山东兵团。11日，山东兵团发起胶济路西段战役。
看起来有些奇怪：为什么战役从分别驻有重兵的济南和胶济路中段之间的胶济路西段打起？历来重视“初战”的毛泽东这样选择是有道理的。毛泽东为山东兵团规定的作战目标和步骤是正确的。胶济路西段的国民党军比中段弱，虽有四万多人，但凡城必守，凡镇必防，兵力分散，整编第三十二师师部所在的周村，实际作战部队不足五个营。该师原是晋军商震的第三十二军，蒋介石在抗战中期把部队拿过来，1947年调黄埔四期的周庆祥为整编第三十二师师长，同中下级军官都不熟悉，又因处于腹地，思想比较松懈。山东兵团主力经过夜行晓宿的七天强行军，远道奔袭，先夺张店，随即在3月12日清晨冒大雨直插周村。王耀武也感到意外，说：“共军难道是从天上掉下来的吗？”[8]国民党军队遭到这样的突然打击，连对方的番号和实力也不清楚，顿时陷入混乱，士无斗志，有三万八千多人被歼。师长周庆祥潜逃（后被蒋介石枪决）。胶济路西段战役首战告捷。
毛泽东本已成竹在胸，在3月20日致电华东局、许谭并告粟：“略作休息，进攻昌潍得手后休整半月，待命进攻津浦路济南徐州段。”[9]一切都经过清晰的计算：第一步（指胶济路西段战役）刚取得了胜利，立刻就提出第二步（“进攻昌潍”，即胶济路中段战役）和第三步（“津浦路济南徐州段”，即津浦路中段战役）。济南战役的准备就是按照这一程序有条不紊地进行的。
潍县是胶济铁路的中心点，是一个中等工业城市，城防坚固。在这个地区驻有国民党军整编第九十六军军长兼整编第四十五师师长陈金城所率四个团和六个保安团，还有当地很有影响的地主武装头目张天佐所部共四万七千余人，但孤悬鲁中，军心涣散，部队给养有赖空投补给。蒋介石亲电陈金城：“务望坚守阵地，并须多控制机动部队，以便夹攻，而竟全功。”[10]但空言丝毫无补实际，陈金城已无力“坚守”，更无“机动部队”可言。陈金城只能借鉴胶济路西段兵力过于分散的教训，放弃不重要的据点，集中兵力作战。4月2日起，解放军山东兵团主力回师东进。许世友向部队说：“我们是第一次打这样坚固设防的城市，一定要作好充分的准备，英勇顽强，不怕牺牲，战必胜，攻必克，拔掉潍县这个硬钉子。”山东兵团以八十多门重炮猛烈轰击潍县县城，这些重型武器都是先后从国民党军队缴获的，同时挖掘坑道向城内推进。4月27日，战斗胜利结束。青岛、济南来的两路援军也被分别逐退。
这次战役历时一个多月，歼灭国民党军整编第四十五师主力和山东人民痛恨的地主武装张天佐等部共四万六千多人，俘获陈金城以下两万六千五百人，还铲除了潍县周围的数十个县、镇的反动地主武装，使胶东、渤海、鲁中三个解放区连成一片，也大大提高了部队攻坚作战的能力。(https://www.daowen.com)
当解放军横扫胶济铁路西段和中段后，王耀武看到济南只剩下津浦铁路中段还能同徐州相连，一旦这段铁路被切断，济南顿成孤岛，必难挽救。于是在5月15日乘飞机到南京见蒋介石，建议放弃济南，将部队撤至兖州及其以南地区，同徐州一带主力连成一片。蒋介石十分不满，训斥道：“你不从大处着眼。对济南的问题，我曾考虑过。我们必须确保济南，不能放弃。”他讲了三条理由：“（一）济南是山东的省会和华东的战略要地，济南至徐州的铁路已修好通车。为了不让华东及华北的‘匪区’打成一片，不让他们掌握铁路交通的大动脉，必须守住济南。（二）为了不使驻在青岛的美国海军陷于孤立，也必须守住济南。否则，不但在政治上军事上于我们不利，且将影响美国对我们的援助。因此，无论华东战况如何变化，济南决不可放弃。（三）我们有空运大队，随时可以增派援军。在空军优势的条件下，济南并不孤立，没有后方也可以作战。”他还说：“济南如果被围攻，我当亲自督促主力部队迅速增援。只要你能守得住，援军必能及时到达，我有力量来解你们的围。打仗主要是打士气。鼓励士气，首先自己不要气馁。你要知道，我们的失败是失败于士气的低落。你们如不发奋努力，坚定意志，将死无葬身之地。”[11]王耀武此行，除得到蒋介石几句空洞的口头许诺外，只能垂头丧气地空手而回。
济南向外伸出的两条胳膊，一条是胶济铁路，一条是津浦铁路。胶济路的问题解决了，津浦路中段的问题就提到日程上来。5月7日，毛泽东为军委起草致许谭并华东局的电报，嘱山东兵团“准备于十九日或二十一日以后向津浦线行动”，“直向济南、徐州间选择某地攻击并打援，以协助粟裕兵团之作战”[12]。
津浦线中路在“济南、徐州间”最重要的城市是山东兖州。本来，山东全省的军事都由第二绥靖区司令官王耀武指挥。这时，蒋介石又设了一个驻兖州的第十绥靖区，以黄埔一期生、鲁籍的李玉堂为司令官。驻在兖州的军队主要是整编第十二军军长兼整编第十二师师长霍守义率领的原东北军，共两万八千人，保安团和土杂部队守备外围县城。
解放军山东兵团南下后，首先扫清兖州外围的曲阜、泰安、新泰、泗水、蒙阴、莱芜、宁阳、邹县八个县城，控制了兖州南北一百五十公里的铁路线，在7月7日开始进攻兖州。霍守义回忆：这时“李玉堂接到蒋介石的命令，其要点是：‘固守待援，以收牵制之效，俟南北援军到达后再出战，修复津浦中路段的交通。’”他又写道：“李玉堂以为城郊既设阵地坚固可靠，四周地形平坦开阔，利守不利攻，同时城内还储存着大量的军粮和弹药，认为只要内部不出毛病，解放军是攻不下来的。”他又说：“我当时的心情，可用两句话来概括：‘对解放军估计过低，对自己估计过高。’首先我总认为解放军不会硬拼，对兖州只是牵制，其目的还是攻取济南。这样，兖州的防守只要能顶得住一定时间，就能转危为安。”[13]
7月12日，解放军向兖州发动总攻，以历来认为最难攻打的瓮门一带为主要突破口，并用大炮猛烈开火，炸毁城垣。第二天下午，守军士气已瓦解，纷纷向东南方向突围，被解放军预伏部队截住，全部被歼。李玉堂化装逃脱，霍守义被俘。蒋介石许诺的援军、济南派出的吴化文部一直行动迟缓，徐州派出的黄百韬一度到达滕县（今山东滕州），又因豫东战局吃紧而撤走。他们都远没有到达兖州。
这次战役，从扫清外围到攻城打援，共歼灭国民党军六万三千六百人，其中俘虏四万四千七百人，解放兖州地区的十二个县城，使山东腹地的根据地和鲁西南连成一片，又提高了解放军攻城作战的能力，而济南完全成为孤岛。整个山东局势已发生根本变化。