驱市人而战，终因势单力孤而败亡。太子自裁之后，伤心的武帝迟迟未立新太子。因而有觊觎之心的人自然盯上了这个位置。
此次出征之前，丞相刘屈氂为李广利饯行。李广利的女儿是刘屈氂的儿媳，两人是儿女亲家，因而关系很是要好。酒酣耳热之际，李广利寻机怂恿刘屈氂在武帝面前美言几句，让他妹妹李夫人所生的儿子昌邑王刘髆立为太子，如此则自己将成为国舅，地位将更尊贵，权势也更大；而刘屈氂的尊贵之位也将更稳固。因而刘屈氂满口应承，答应寻找机会，向汉武帝建言。
螳螂捕蝉，黄雀在后。李广利率军出征之后，刘屈氂尚未来得及活动，自己倒先被人给盯上了。这一年，也就是征和三年六月，内者令郭穰密告丞相刘屈氂的妻子因刘屈氂曾多次遭武帝责备，故而心怀不满，便请巫师祈祷神灵，诅咒武帝早死；这人同时密告刘屈氂与李广利共同向神灵祝祷，希望昌邑王刘髆将来做皇帝。武帝那时相当迷信巫蛊之术，听了这番话，自是勃然大怒，便下令廷尉查办。结果刘屈氂夫妇被处死，李广利的妻儿也被逮捕囚禁。
正在前线指挥作战的贰师将军李广利听闻这一变故，如五雷轰顶，既忧虑，又害怕，一时之间，茫然而不知所措，不知该怎么办才好。其部下有一掾吏，曰胡亚夫，待罪之身，躲避在外，随军出征。这人乃一腌臜泼才，为人圆滑，不讲道义，本就没有归汉之心，见李广利进退两难，便以言挑逗道：“一个人的家室全为官府所收押，倘若他回去不能如愿解救他们，却反而与他们皆相会于狱中，那么，再想见到郅居以北的这些土地，还有可能吗？”见李广利犹豫不决，胡亚夫干脆挑明道：“假如将军也被牵连入狱，虽欲投降匈奴，却已不可能了。”李广利止道：“不可胡言乱语，事情还没到这一步。”
是的，还没到山穷水尽的时候，李广利的心思是：若投降匈奴，将加速妻儿老小的死亡，情况会更惨，不如立功赎罪，也许还有一线生机。于是李广利下令全军继续北上，深入匈奴，到了郅居水边。这时，匈奴人往更北的地方逃去了。李广利不甘心，令护军将军率领二万骑兵渡过郅居水，寻击匈奴。有一天，这一部汉军碰上了匈奴左贤王、左大将，恰巧对方的兵力也是二万骑兵。于是双方二话不说，大战一日。匈奴左大将阵亡，被杀伤和被俘虏的匈奴人也很多。战报传来，李广利得意地笑了。