军李广、轻车将军公孙贺、将屯将军王恢、材官将军李息等五位将军共领军三十余万，埋伏在马邑的近旁。其中韩安国为护军将军，所部为机动力量，护卫着四位将军准备伏击单于。
军臣单于率部侵入汉朝的边塞，距离马邑尚有一百余里，看到牲畜遍野却无放牧之人，颇为诧异，疑心顿起，为稳妥起见，就令人攻打汉朝的侦察哨所。正巧此时雁门郡的尉史（郡中武官）正在巡察，看到敌军，就率部奋起抵抗，可惜寡不敌众，为对方所生擒。
军臣单于知尉史职位不低，一定知道一些内幕，就问他为何牲畜遍野却无放牧者。尉史一开始紧咬牙关，后见单于要取他的性命，心里防线立时崩溃，只好将马邑之谋和盘托出。单于听说汉军在马邑城布下了一个天罗地网，顿时惊出一声冷汗，叹道：“我本来就对此事有疑心，你的话刚好得到了验证，原来这真的是一个大阴谋。”当即下令，全军折返。安全地走出边境后，军臣单于这才松了一口气，看着尉史道：“我得到尉史，天意也。是上天派你来助我，才使我幸免于难。”于是封尉史为天王。
汉军曾约定，单于进入马邑城后，再放纵兵士攻杀，如今单于未到马邑，自是一无所获。将屯将军王恢的职责是领军出代郡，攻击匈奴军队的辎重，听说单于已折返，知敌方兵卒大增，因而不敢下令出击。然而，武帝认为：王恢是本次伏击战的出谋划策者，遇见敌人却不敢进攻，委实胆小如鼠，敢说不敢做，实在可恨，因而勃然大怒，将其逮捕下狱。王恢羞愤交加，便自裁了。
马邑之谋，一次未遂的伏击战，使得汉匈双方从此都撕破了脸皮，拉开了大规模对抗的序幕。
军臣单于回归王庭后，当即下令，与汉朝断绝和亲关系。此后，匈奴的军队攻击汉朝的交通要塞，时常侵入汉朝的边境，进行抢掠，次数之多，不可胜数。但是，匈奴贪婪，还是喜欢与汉朝互通关市，以获取更多的财物。而汉廷也不得不在表面上维持与匈奴的友好关系，与其进行贸易，以迎合他们的心意。
马邑之谋后，武帝知匈奴势大，也知自己缺乏帅才，因而一时不敢再打匈奴的主意。有一天，武帝去平阳公主的府上消愁解闷，酒酣耳热之际，看上了一个歌女，这人唤作卫子夫。于帝王而言，这事本来稀松平常，可不寻常的是，他还看上了一个人，这人是卫子夫的弟弟，唤作卫青。