项羽知道刘邦出关东进后，并没有立即回师迎战。他准备把齐国彻底击破后，再全力对付刘邦。
这时听说刘邦已经占领彭城，便率领精兵3万，急返彭城。
当时刘邦还在彭城置酒，和各路诸侯庆功，楚军在早晨向汉军发动进攻，一日之内，大破汉军。
汉军沿谷、泗二水退逃，被杀死十几万人。又在灵壁（今安徽宿县西北）东濉水上被项羽追上，又有十几万汉军被杀死，“濉水为之不流”。
刘邦仅与数十骑逃脱，路上恰遇女儿和儿子，而父亲和妻子却被楚军俘虏。各路诸侯看到刘邦大败，纷纷叛离。
刘邦退到荥阳，收集逃散士卒。这时，萧何从关中派来增援部队，连56岁以上的老人和不满20岁的青年都被征入伍。
同时韩信也收兵前来会合，汉军复振。
五月，汉军在荥阳南边京、索之间击破楚军，使楚军不能越荥阳而西。
在此期间，刘邦还派说客说降英布叛楚。英布是项羽手下的一员猛将，他的反叛不仅使项羽丧失了一支重要的力量，同时由于项羽要分兵平叛，也给刘邦的正面战场减轻了压力。
当时，汉军在荥阳一带设防。
为了保证军粮，汉军修筑甬道，从黄河上通过，到原秦的大粮仓敖仓去搬运粮食。项羽却多次侵夺汉军的甬道，使汉军缺乏粮食。
四月，项羽包围了荥阳。刘邦无奈，向项羽请和，以荥阳以西为汉。
项羽准备答应，但范增认为：“现在要彻底消灭汉已很容易，如果放过这个机会，以后肯定要后悔。”
于是，项羽不再同意讲和，猛攻荥阳。
刘邦就使用陈平之计离间项羽和范增。项羽派使者来劝降，刘邦让人捧着丰盛的食物去招待。看见使者，假装惊愕说：“我以为是亚父的使者，原来却是项王使者。”
然后把好菜好饭拿走，换上很差的饭菜。使者很生气，回去报告项羽。
项羽从此怀疑范增与汉私通，对范增提的一些主张不再采纳。
范增为此大怒，对项羽说：“天下事大局已基本定了，大王你好自为之吧。请让我做一个普通百姓安度天年。”
项羽同意。这样，范增就离开了项羽，还没有走到彭城，背上生疮，气愤而死。