义渠安国来到羌人聚居地，召集先零部落三十多位首领，把其中特别桀骜不驯的全部斩杀；又发兵攻打先零部落，斩杀一千多人。这下，那些投降汉朝的羌人，还有归义羌侯杨玉等人又愤怒又怨恨，不再信任汉朝，于是他们胁迫其他弱小部落，背叛汉朝，侵犯边塞，攻打城镇，杀害官吏。义渠安国以骑都尉的身份，率领三千骑兵屯守防备羌人；军队到了浩亹，遭到羌人攻击，损失了大量辎重和兵器。义渠安国只好带兵退回令居，并将情况上奏朝廷。
当时赵充国七十多岁了，皇帝觉得他年纪大，派丙吉询问他谁能领兵出征。赵充国回答：“没有比我更合适的人了！”皇帝又派人问他：“将军觉得羌人实力如何？需要多少兵力？”赵充国说：“百闻不如一见。军事情况难以远程推测，我希望能快马赶到金城，制定好作战方案后再上报。羌人只是小小的外族，竟敢违背天意叛乱，很快就会灭亡，希望陛下把这事交给我，别为此担忧！”皇帝笑着说：“好！”于是大规模调兵前往金城。夏天四月，派赵充国率领军队，前去攻打西羌。
六月，东方天空出现彗星。
赵充国到达金城后，等兵力集结到一万骑兵，准备渡河。他担心被羌人阻拦，就在夜里派三名校官率领士兵，口中衔枚（防止出声）先行渡河。士兵们一过河，就立刻安营扎寨。天亮时，军队按次序全部顺利渡河。这时，几十上百个羌人骑兵来到汉军附近，来回出没。赵充国说：“我们的人马刚长途跋涉，十分疲惫，不能追击。这些羌人骑兵骁勇善战，很难制服，我担心这是他们设下的诱敌之计。我们这次出征，目标是彻底消灭羌人，这种小便宜不值得贪图！”他下令军队不许出击。又派骑兵侦察四望峡，发现没有羌人埋伏。夜里，赵充国带领军队前进到落都，召集各位校官和司马说：“我就知道羌人不懂得用兵！要是他们派几千人守住四望峡，我们的军队怎么可能顺利进来！”
赵充国领兵打仗，特别注重派出大量侦察兵打探消息。行军时，时刻保持战斗准备；驻扎时，必定加固营垒。他生性谨慎稳重，爱护士兵，每次作战前都深思熟虑，谋划周全后才行动 。军队向西抵达西部都尉府后，他每天都给士兵提供丰盛的饮食，将士们都愿意为他效命。羌人多次前来挑战，赵充国却坚守不出。汉军抓到俘虏后，得知羌人首领们互相埋怨说：“早告诉你们别造反，现在天子派赵将军来了，他都八九十岁了，最会用兵。如今我们想拼个你死我活，能行吗？”
起初，罕、幵部落的首领靡当儿派弟弟雕库向都尉报告：“先零部落准备造反。”几天后，先零果然叛乱。雕库的族人有不少在先零部落中，都尉就把雕库扣下当人质。赵充国却认为雕库无罪，将他释放，并让他回去告诉部落首领：“朝廷大军只杀有罪之人，你们要和有罪的人划清界限，别跟着他们一起送死。天子下令，羌人中犯法的，只要能捕杀同伙，就可以免罪，还会根据功劳大小赏赐钱财，所捕获的对方妻子儿女、财物也都归己所有。”赵充国打算凭借威望和诚信，招降罕、幵部落以及被胁迫参与叛乱的人，瓦解羌人的联盟，等他们疲惫不堪时，再发动攻击。
此时，朝廷从内地各郡征调屯守边疆的士兵，总数已达六万人。酒泉太守辛武贤上奏说：“目前郡里的军队都在南山一带屯守，北部边境空虚，这种局势难以长久维持。如果等到秋冬季节再进兵，那是敌人在境外时的策略。现在羌人早晚侵扰，当地土地寒冷贫瘠，汉军的马匹难以过冬。不如在七月上旬，让军队携带三十日的口粮，兵分两路从张掖、酒泉出发，合击在鲜水畔的罕、幵部落。即便不能将他们全部消灭，也能抢夺他们的牲畜财产，俘虏他们的妻子儿女，然后收兵返回。到