于是汉武帝增设了大司马的职位，大将军卫青、票骑将军霍去病都担任大司马，并制定法令，让票骑将军的俸禄和大将军相等。从此以后，大将军卫青的权势逐渐衰落，而票骑将军霍去病日益显贵。大将军卫青的旧友和门客很多都离开他去侍奉霍去病了，而且往往能得到官爵，只有任安不肯这样做。
票骑将军霍去病为人话少，不轻易泄露机密，很有气魄，敢作敢为。汉武帝曾经想教他孙武、吴起的兵法，他回答说：“关键看战略战术如何，不必学习古代的兵法。”汉武帝为他建造了府第，让霍去病去看看，他回答说：“匈奴还没有被消灭，我怎么能顾得上自己的家呢！”从此汉武帝更加看重和喜爱他。然而霍去病从小就地位尊贵，不懂得体恤士兵。他率军出征时，汉武帝派太官给他送来几十车食物，等他回来时，好多车上的精米肥肉都没吃完就扔掉了，可士兵中却有挨饿的；在塞外作战的时候，有的士兵缺乏粮食，连维持自己的体力都困难，而霍去病还让人开辟场地踢球玩乐，类似这样的事情有很多。大将军卫青为人仁慈，爱护士兵，遇事退让，用温和柔顺的态度取悦汉武帝。他们两人的志向和操守就是这样不同。
这时，汉朝斩杀和俘虏的匈奴人加起来有八九万，而汉朝士兵死亡的也有好几万。从这以后，匈奴远远地逃走了，沙漠以南再也没有匈奴的王庭。汉朝渡过黄河，从朔方以西到令居，到处开通沟渠，设置田官，有官吏和士兵五六万人，逐渐蚕食匈奴在北方的土地；然而也因为马匹数量减少，不再大规模地出击匈奴了。
匈奴采用赵信的计策，派使者到汉朝，用好话请求和亲。汉武帝把这件事交给大臣们讨论，有的说和亲好，有的说应该让匈奴称臣。丞相长史任敞说：“匈奴刚刚被打败，处于困境，应该可以让他们做汉朝的外臣，到边境来朝拜。”汉朝派任敞去见单于，单于非常生气，把任敞扣留了下来，不让他回去。当时，博士狄山认为和亲比较好，汉武帝问张汤的意见，张汤说：“这是个愚蠢的儒生，什么都不懂。”狄山说：“我固然愚蠢，但我是愚忠。像御史大夫张汤，那是假装忠诚。”于是汉武帝变了脸色，说：“我让你去治理一个郡，你能不让匈奴入侵和抢劫吗？”狄山说：“不能。”汉武帝又问：“治理一个县呢？”狄山回答：“不能。”汉武帝再问：“防守一个要塞呢？”狄山估计自己再辩解下去就要被交给执法官吏了，就说：“能。”于是汉武帝派狄山去防守要塞，过了一个多月，匈奴把狄山的头砍了就走了。从这以后，群臣都很害怕，没有敢违抗张汤的人了。
这一年，汲黯因为犯法被免职，汉武帝任命定襄太守义纵为右内史，河内太守王温舒为中尉。
在这之前，宁成担任函谷关都尉，官吏和百姓进出函谷关的都说：“宁愿遇见正在哺乳的母老虎，也不要碰上宁成发怒。”等到义纵担任南阳太守，经过函谷关时，宁成侧身而行，迎送他。义纵到了南阳郡后，就查办宁氏家族，把他们家弄得家破人亡；南阳的官吏和百姓都吓得双脚并拢，小心翼翼地走路。后来义纵调任定襄太守，刚到任时，就乘其不备，把定襄监狱中犯了重罪但被轻判的二百多人，以及私自来看望他们的宾客、兄弟等二百多人，一起逮捕了，然后审讯说这些人是“为死罪囚犯解脱刑具”。当天，就判决杀了四百多人。从那以后，定襄郡的人都不寒而栗。当时，赵禹、张汤因为执法严厉而做到了九卿的位置。不过他们治理政事还能依据法律行事；而义纵专门以严酷的手段来治理。王温舒起初担任广平都尉，挑选了郡中十几名勇猛果敢、敢于行事的官吏作为自己的爪牙，这些人都被他掌握着暗中犯下的重罪，王温舒就放纵他们去督察盗贼。如果这些人能满足他的心意，抓住他想抓的人，这些人即使犯了一百种罪，王温舒也不依法惩办；要是有人逃避，王温舒就借其他事情把他们灭族。因为这个缘故，齐、赵一带的盗贼都不敢靠近广平，广平号称道不拾遗。王温舒升任河内太守，在九月到任，他让郡里准备好五十匹私人的马作为驿站的马匹，然后逮捕郡中的豪强和狡猾之徒，受到牵连的有一千多家。他上书请示，罪大的灭族，罪小的处死，这些人家的财产全部没收来偿还赃物。奏书送上去不过两三天就得到了批准，案子判决上报，被处死者的鲜血流出了十多里地，河内的人都对他的奏书感到惊讶，认为速度快得不可思议。到了十二月底，郡里一片寂静，没有人敢在夜里行走，野外也没有小偷小摸的人了。还有一些没有抓到的罪犯，逃到了旁边的郡国，王温舒就派人去追捕。正赶上春天到了，王温舒跺着脚叹息说：“唉！要是冬天能再延长一个月，我的事情就可以办完了！”
汉武帝听说了这些事，都认为他们有才能，所以提拔他们做了中二千石的官。
齐地有个叫少翁的人，凭借鬼神方面的方术进见汉武帝。汉武帝有个宠爱的王夫人去世了，少翁用方术在夜里招来了鬼魂，样子就像王夫人，汉武帝从帷幕中远远地看见了。于是就任命少翁为文成将军，赏赐给他很多东西，用宾客的礼节对待他。文成将军又劝汉武帝建造甘泉宫，在宫中建造