刘备无奈，只得听从了殷观的建议，撤回大营。正如殷观所料，步骘早就知道了刘备军的动向，他几乎在刘备渡河的同时，向西岸动了进攻，幸好霍峻谨慎，把河边守得死死的，没有给他留下什么机会。这才保住了大营。
这一仗打完，刘备本来的优势一下子损失殆尽，反而落了下风，他手头只剩下五千多人，而孙贲和步骘合兵一处之后，兵力达到了八千，又有地利，刘备想要渡河，简直成了天方夜谭。.
双方僵持了几天。刘备没有找到有效的办法。粮食又遇到了问题，他无法可想。只得再次向殷观问计。殷观说了两个办法，一是调关羽过来助阵，关羽有一万三千人马，留下一半守郁林郡，他还可以带六七千人来，以关羽地本事，再加上占上风的兵力，要打败步骘和孙贲应该不是难事，但是这样一来，郁林方面就会吃紧，邓艾手中就有五千人，而且刘磐也有三千人就在始安北不远，一百多里的路程，两天就可以赶到，一旦关羽离开郁林，邓艾完全有可能会趁虚而入，拿下郁林。如果郁林丢了，那么新得地交三郡，也就成了邓艾的囊中之物了，甚至连合浦郡都有危险。
殷观话还没说完，这个办法就被刘备否决了，调关羽来后患太大，有邓艾那头幼虎在始安，他无论如何也不能放心。
见刘备不同意，殷观又提出第二个方案，调赵云支援。从桂阳郡南下，他可以直接攻打匡浦关，拿下匡浦关之后，他可以直接向东南方向直取南海郡治番禺东的增城，反过来从步骘的背后动手，拿下番禺，如此一来，步骘退回去就要放弃溱水，不退回去就要面临两面夹击，进退两难。
刘备沉吟了好久，看着殷观一句话也不说。如果纯从计策上来说，当然是调赵云来比较合适，他离这地方近，三百里的路程，十天就可以到达，而且桂阳也有粮，他来了之后可以解决自己的粮食问题。但问题是赵云要是离开桂阳，那桂阳郡可就不一定是自己的了，张任可是在泉陵城看着呢，曹冲自己也在临湘等着呢，他可是要桂阳郡要了不止一次了，难道自己就这么轻松的把桂阳郡送给曹冲？
“孔林，还有其他办法吗？”刘备想了半天，还是舍不得。一个桂阳郡顶得上两个南海郡的人口，他如果放弃了桂阳郡，就算打下南海郡也不合算，这一番苦头等于白吃了，便宜还全让曹冲给占了，他如何能舍得。
殷观暗自叹了口气，又接着说道：“还有一个办法，就是从关将军手中调兵，但是不调他来，还让他在郁林守着，有他在郁林，邓艾没有足够地优势，不会主动动攻势。不过这样一来，我们虽然可以得到五六千人，还是没有大的优势，想要渡过溱水，还是有些难度。”
殷观想了半天，还是将一句话忍了下去。他觉得关羽掌水军多时，对水战的熟悉程度也好。带兵捕捉战机的能力也好，显然都不是刘备所能比拟的，所谓三军易得，一将难求，就凭刘备自己想要拿下南海郡，显然有些要求太高。霍峻虽然能打。但他的长项是守而不是攻，这个情况下未必能起多大作用。
刘备还是有些犹豫，他也意思到如果关羽赵云都不来的话，就凭他自己确实有点玄。就在这时，殷观又提出了一个补充措施，让霍峻去桂阳，把赵云换到这儿来。霍峻善守，有他在桂阳，不会比赵云守桂阳差。而赵云到这里来，却比在桂阳能起的作用大得多。
刘备一听大喜，想来想去还是这个办法好。他立刻把霍峻叫来，让他去桂阳换赵云。霍峻二话不说，立刻带着自己的部曲起程，十一月初，赵云到达四会城和刘备会合，与此同时，关羽派儿子关平带了六千人马赶到溱水西岸。
溱水河畔，烽烟再起。有了赵云和六千生力军地参战，刘备军恢复了战斗力。三天之后，赵云率部再次从卢苞渡河，一举击溃了前来堵截的孙贲所部，然后挥师北上，拿下了匡浦关，将南海郡和桂阳郡连成一片。跟着他掉头南下，三战三捷，步骘坚守了两个月的溱水战线告破，狼狈的退回番禺固守。
番禺城是南海郡治。步骘在这里经营了五六年，粮食储备充足，城墙又坚固，再加上他和孙贲手中还有六千人马，刘备虽然占了上风，但凭他手里剩下的一万人，想要拿下番禺城，还是有些力不从心。他用殷观的计策，放弃了攻坚地打算。留下五千人看着步骘。让赵云带着五千人向东拿下了博罗和增城，至此。除了番禺城以外，南海郡的六城有四城落入了刘备手中，而番禺城，怎么看也逃不出他的手掌心。
这次刘备学乖了，不再象上次在柯郡一样到处搜刮粮食，搞得名声极坏，攻下来地几个城，他都派人去好言安慰，告诉那些大族，他是天子亲封地正牌交州牧，现在来攻取交州是名正言顺的事情，所以你们不要担心。我是大汉地皇叔，我女婿是丞相的爱子曹冲，他在襄阳的新政你们总该听说过吧？襄阳地博览会你们应该也有所耳闻吧？你们放心，我做了交州牧，他当然不会亏待我这个老泰山，襄阳那些大族享受到的那些好处，你们一样能拥有的。总之一句话，跟着我混，比跟着孙权混有前途多了。
这么一来，交州那些大族都安心了，反正谁做交州牧对他们来说，也就是换个交税地对象而已，其他关系都不大，也没有必要去玩命。交州在一片祥和的气氛准备迎接新年，就连刘备还没有拿下的龙川、揭阳二城都派人暗中来和他联系了，话里话外的透着热烈欢迎刘备做交州一把手的意思。
刘备心情大好，派人进城劝降，步骘虽然有些沮丧，却没有放弃。他相信孙权不会轻易放弃交州，他只要守住番禺，守到孙权派人来救，他就是大功一件，前面的所有失败都可以忽略不计。如果他放弃番禺，他将万劫不复，在孙权的面前再也抬不起头来，就算他能放弃自己的家人投降刘备，也不会是多活几天罢了，他从心底里就看不起刘备这样一个皇叔，并不觉得跟他混有什么前途。至于孙贲这个孙家的人，当然更不会有投降地打算了。
孙权接到了步骘的消息，大惊失色，他没有想到交州会败得这么快，合浦、交那几个郡的丢失在他的意料之中，毕竟那里没有重将把守，而且这几个郡是沿着大海的一个狭长地带，步骘想要从苍梧旁经过去管理那几个郡显然是不可能的。但他没想到南海郡会丢得这么快，步骘和孙贲有一万八千大军，居然在两个多月的时间里就一败涂地，困守番禺，大出他的意料之外。他没有多想，立刻派人把吕蒙、6逊、胡综等人召来议事，商议如何处置交州的事情。
吕蒙最近升了大都督，和魏延等人大大小小打了几仗，打得很憋屈，不是他本事不行，而是双方实力差距太大，虽然兵力相差不多，他还占点优势，可是曹军地军械好。伙食好，士卒的单兵素质、综合素质都要比他强上一截，他就算费了老大劲找到战机，也占不了便宜，最好的结果就是杀个平分秋色，让对方脱围而去。而一旦他被魏延等人抓住机会，那可就是麻烦事，运气好是小败，运气不好就是大败。魏延还好，这个人不喜欢跟人硬拼，一旦现没有便宜可占，他立刻飘然远去，象头狼似的在你四周游弋，等待下次机会。而乐和黄忠手下那个副将刘封就不一样了。这两个人就是疯子，一旦咬住，无论如何也要扯下一块肉来。就算兵力上不占优势，他们也气势汹汹的杀上来，感觉就象看到了宝似的。