此时的赤眉军，就兵力数量而论，在天下诸侯当中，当然可以数一数二。然而，和以上三股势力相比，在战力上远远不足。当赤眉军放弃长安之后，樊崇便率领他们进入陇东高原，本以为从此可以天下广大、任我遨游，哪知却碰上了隗嚣的陇西军大将军杨广，其手下骑兵丝毫不弱于刘秀的幽州铁骑。因而赤眉军最终遭遇大败，狼狈向东南方向逃窜而去，杨广率领陇西军一直将樊崇赶出了乌氏、泾阳才鸣金收兵。
邓禹见此，忙派兵进剿赤眉军，试图劫回他们盗掘西汉陵墓之时所获取的财物。哪知樊崇早就占据了天时地利，手握“番须口”这一一夫当关万夫莫开的优势地位，直接威胁右扶风西部的安危。于是，邓禹所部与樊崇大军在郁夷县（在今陕西宝鸡市虢镇之西）交兵，无可置疑，西征军大败而归。
邓禹遭逢大败，本应该修身养性、整军待命，然而此时的长安却因为樊崇的劫掠而贫穷不堪，邓禹数十万大军，已经断粮多时。于是，邓禹决定派遣军队去长安城外找粮食。谁知却在南山脚下遭遇了汉中王刘嘉追赶的延岑残部，又大败。无奈之下，邓禹只能暂时撤出长安。
正当延岑为自己获胜而暗自窃喜之时，却不料汉中王刘嘉竟然从背后杀出，兵败之下，延岑只能向汉中王刘嘉乞降。原本刘嘉就是延岑的主公，只是为了自立，他才带兵逃出。此番刘嘉念其战功，故而并没有责罚他，反而任命他为将军。此后，刘嘉、延岑、李宝三人便准备率领着十余万军队北上，屯兵陈仓道口。哪知却遭遇了赤眉军，双方大战之下，赤眉军不敌，就连大将廖湛也被敌人斩下头颅。樊崇权衡之下，只能厉兵秣马，沿着渭水东进，徐图攻取长安。
他哪里知道，邓禹刚刚遭遇连番大败，早就撤出了长安。赤眉军冒着天寒地冻，进入了一片瓦砾的长安城中，后悔不已。甚至连士气也受到影响，大到将领小到兵士，均生出了归返故乡的念头。就在此时，邓禹也率领部众杀了回来，准备借机捞上一把，打击一下敌人的残兵。只可惜，赤眉军并没有他想象的那么虚弱，不久，邓禹便败逃回云阳，其手下将士也只剩下数千人，时局转换得如此之快，实在是让人难以相信。
而一边的赤眉军，却并没有像汉军一样，被延岑、李宝等人杀得大败，真可谓是“天外有天、人外有人”了。此后，邓禹又杀了汉中王部下前来请求联合的李宝，只因为自己连番失败，李宝傲慢便犯下如此错误。此后，邓禹之败更是一发不可收拾。直到刘秀果断任用冯异为征西将军，代替邓禹，才让西线的