汉朝又派杨信出使匈奴。杨信不肯按匈奴习俗行事，单于说：“按照过去的约定，汉朝曾派遣翁主（宗室女），供给我们一定规格的丝绸、棉絮、食物，以达成和亲，而匈奴也不侵扰汉朝边境。现在汉朝却想违背旧约，要我的太子做人质，这没门！”杨信回来后，汉朝再派王乌出使。单于又用好话哄骗王乌，想多得到汉朝财物，哄骗王乌说：“我想亲自入汉朝见天子，当面结为兄弟。”王乌回国报告，汉朝就在长安为单于修建了官邸。
匈奴方面却说：“除非汉朝派地位尊贵的使者来，否则我们不与他真心谈判。”匈奴派遣了一位贵族到汉朝，结果生病了。汉朝给他吃药，想治好他，可惜他不幸死了。汉朝便派路充国佩带二千石官员的印绶出使匈奴，顺便护送匈奴贵族的灵柩回去，并举行了价值数千金的隆重葬礼，声称：“这是汉朝的贵人。”单于却认为是汉朝故意杀了他的尊贵使者，于是扣留了路充国，不让他回国。
到此才明白，单于之前对王乌说的话，全是空话欺诈，根本没有入汉朝见和派太子当人质的打算。于是，匈奴多次派出小股精锐部队侵犯汉朝边境。汉武帝任命郭昌为拔胡将军，与浞野侯赵破奴一起率军驻扎在朔方郡以东，防备匈奴。
元封五年（乙亥年，公元前107年）?
冬季：? 汉武帝向南巡行狩猎，到达盛唐（地点待考），在九疑山（今湖南宁远南）遥祭虞舜。他登上灊县（今安徽霍山）的天柱山，又从寻阳（今湖北黄梅西南）乘船顺长江而下，在江中亲自射杀蛟龙，并捕获了它。船队首尾相连长达千里，船队靠近枞阳（今安徽枞阳）后驶出长江，接着向北到达琅邪郡（今山东胶南琅琊台西北），沿着海边行进，所经过的地方都祭祀了当地的名山大川。
春季，三月：? 汉武帝回到泰山，增加了封土（再次举行封禅典礼）。三月初一（甲子日），首次在明堂祭祀上帝，以汉高祖刘邦配享。同时，他召见诸侯王、列侯，接受各郡、封国呈报的年度地方财政、人口统计报告（上计簿）。
夏季，四月：? 大赦天下。皇帝巡幸所经过的县份，免除当年的租税。
随后：? 汉武帝返回途中巡幸甘泉宫（今陕西淳化西北），在泰畤祭祀天地。
长平烈侯卫青去世。为他修筑的坟墓，形状像庐山（卫青因击败匈奴右贤王于庐山附近立功）。
汉武帝在驱逐了胡人（匈奴）、越人，开拓疆土之后，设置了交趾（今越南北部）、朔方（今内蒙古河套西北部及后套地区）两州，以及冀州、幽州、并州、兖州、徐州、青州、扬州、荆州、豫州、益州、凉州等州，一共十三个监察区（部），每个部都设置了刺史（负责监察地方长官）。
汉武帝觉得着名的文臣武将都快没有了，于是下诏书说：“要建立非凡的功业，必须依靠非凡的人才。所以马有狂奔踢人却能日行千里的，士人有受世俗诟病却能建功立业的。那些难以驾驭的马、行为放荡不羁的士人，关键在于如何驾驭他们罢了。命令各州、郡长官考察属下的官吏和百姓中，有卓越才能、超群出众，可以担任大将、丞相以及出使遥远国家的人。”
元封六年（丙子年，公元前106年）?
冬季：? 汉武帝巡幸回中（今陕西陇县西北）。
春季：? 修建首山宫（地点待考，或在首阳山附近）。
三月：? 巡幸河东郡，祭祀后土神，赦免汾阴县死罪以下的犯人。
西南事务：?
汉朝打通西南夷地区后，设置了五个郡（夜郎、滇、邛都、巂、昆明等），想使领土能连接大夏国（中亚古国）。每年派出十几批使者从这些新郡出发，但都被昆明国（今云南滇池地区）阻拦，使者被杀，财物被抢夺。
于是汉武帝赦免了京师长安的亡命之徒（罪犯），让他们参军，派拔胡将军郭昌率领去攻打昆明国，斩杀了数十万人（数字恐有夸大）。后来再派使者，最终也没能打通去大夏的道路。
秋季：? 发生大旱灾和蝗灾。
乌孙和亲：?
乌孙国（今伊犁河流域）的使者看到汉朝地域广大，回国报告后，乌孙国更加重视汉朝。
匈奴听说乌孙和汉朝通好，很生气，想攻打乌孙。同时，乌孙周围的大宛国（今费尔干纳盆地）、月氏国（今中亚阿姆河流域）等国都已归附汉朝。乌孙因此感到害怕，派使者希望娶汉朝公主，与汉朝结为兄弟之国。
汉武帝和大臣们商议后，同意了。乌孙国用一千匹马来作为聘礼迎娶汉朝女子。汉朝把江都王刘建的女儿细君封为公主，嫁给乌孙王昆莫。陪嫁的礼物非常丰厚。乌孙王昆莫封细君为右夫人。匈奴也嫁了一个女子给昆莫，被封为左夫人。
细君公主自己修建宫室居住，一年只和昆莫会见一两次，安排酒宴饮食。昆莫年老，语言又不通，公主悲伤忧愁，思念家乡，想回汉朝。汉武帝很同情她，每隔一年就派使者送去帷帐、锦绣等物品。
昆莫说：“我老了。”想把公主嫁给他的孙