书上说的办。”李广听了，脸色很不好看，也不与卫青告辞，怒气冲冲就离去了。到本部后，李广便与赵食其合兵一处，随后大军从东路出发。也不知行了多远，突然，意外发生了，向导逃亡。李广与赵食其不免都傻眼了，无奈之下，只得另寻向导，可惜不得力，因而大军时不时的陷入迷路的状态。
而卫青率主力越过沙漠后，终于碰到了单于的主力。伊稚斜单于自是大喜，以为汉军疲惫，有机可乘，急令万骑前来相攻。为防止敌人冲阵，卫青一面下令将武刚车（有遮掩物体的战车）集中起来，环绕为营；一面发五千骑前去迎敌。双方就此捉对厮杀，展开激烈的搏斗。这时，太阳即将落山，刮起了大风，沙砾击面，飞沙走石，遮天蔽日，因而两军都无法看清对方。卫青大喜，令左右两翼急速包抄敌军，又想若李、赵联军能及时赶到，伊稚斜单于怕是插翅也难飞了。
伊稚斜单于见汉军人数众多，又虽为长途远征，但士卒与战马俱未显露疲乏、厌战之态，料想再争斗下去，必下场不妙，因而心里渐渐有了别的想法。薄暮时分，伊稚斜单于下令将能显露身份的装饰全除去了，然后乘坐六骡之车，在数百名壮骑的护卫下，冲向汉军的西北角，一番厮杀，突出重围，然后疾驰而去。
黄昏时分，两军互相乱搏，混战在一起，杀伤大致相当。激战中，汉军左校尉捕到一些匈奴俘虏，从他们口中得知单于在天未黑时便已离去了。卫青得知后，连叹可惜，当即下令，着轻骑连夜追击，自己则率大部队紧随其后。匈奴兵趁机四散逃走，但多数人的方向皆是设法追随单于。
汉军一路追击，一路冲杀，天明时，已奔驰二百余里，未追到单于，但斩杀、俘虏敌人已达一万九千人。又向北追击一番后，汉军冲杀至寘颜山（杭爱山脉南面的一支）的赵信城（匈奴为赵信所安排的居处），缴获了匈奴存放的积粟。汉军正好又疲又饥，便挑选了大量的粟米，以为军粮，又于城中留居一日。次日，卫青下令将城中带不走的粟全部烧掉，然后领军折返。
伊稚斜单于自逃出包围圈后，与他的大部队失去联系达十余日，因而大多数人都以为他已经战死了。于是其部下右谷蠡王自立为单于，以安众心。后来，伊稚斜单于与匈奴大部成功会合。于是右谷蠡王识趣地除去单于之号，仍尊伊稚斜为大单于。
卫青率领大军向南横渡沙漠后，终于碰上了迷路的李广、赵食其二军。