又叹息了半晌……
不久，李广利的家人为其所累，全部被诛。
征和四年（公元前89年），因长年的战争，弄得汉匈都很疲敝，于是狐鹿姑单于派遣使者给武帝传书说：“南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。现在我们想与汉廷大开边关，娶汉女为妻，每年请汉廷送给我们糵酒万石，稷米五千斛，杂缯万匹，其他如故约，那么我们就不再侵扰汉廷的边界了。”武帝阅后笑了一笑，写了一些不痛不痒的话，令一使者回报并顺道护送匈奴使者回国。狐鹿姑单于阅信后有些不悦，便令左右设法为难一下汉使，有人说：“汉，礼义国也。但是，听贰师将军说，前太子曾发兵谋反，这是什么缘故呢？”汉使不慌不忙道：“是有这么一回事，但并非太子有意谋反。乃是丞相私与太子争斗，太子发兵欲诛丞相，丞相诬之，故诛丞相。此种行为，乃子弄父兵，罪当笞，不过是小过错罢了。与冒顿单于亲自射杀生父、自立为单于、娶后母为妻的行为相比，怎么样呢？更不值一提了。据实而论，后者简直是禽兽的行为！”对方瞠目结舌，哑口无言。狐鹿姑单于则恼羞成怒，立即下令扣留汉使，三年后才让他回来。
李广利在匈奴居住一年多后，恩宠日盛，惹得卫律的妒火更是旺盛。不久，单于的母亲病了，久治不愈。狐鹿姑单于很是忧愁，便求助于一巫师。可巧这名巫师与卫律交好，于是卫律教唆他对单于道：“大阏氏的病之所以很难治好，是因为先单于发怒了，他说：‘我们过去祭兵，经常说抓住贰师将军就要把他杀了以祭祀宗庙，现在抓到了，为什么还不行动？’”狐鹿姑单于听了，当即决定牺牲掉贰师将军。李广利被捕时，怒不可遏，一面大骂卫律无耻，一面大骂单于不讲信用，恶狠狠地诅咒道：“我死必灭匈奴！”狐鹿姑单于闻言也大怒，立即喝令速取贰师将军的人头来祭祀宗庙。
李广利死后，正巧匈奴连着下了几个月的大雨雪，牲畜冻死了不少，庄稼不能成熟，人们也害瘟疫得病。狐鹿姑单于想起了李广利临死前的诅咒，以为是他的亡魂在作祟，吓出一身冷汗，忙令人为贰师将军建立祠室，然后备上齐全的祭品，亲自前去祭祀。