峭王也率领本族及鲜卑七千多骑兵，跟随鲜于辅向南迎接刘虞的儿子刘和与袁绍的部将麴义，合兵十万共同攻打公孙瓒，在鲍丘击败他，斩杀二万多人。于是代郡、广阳、上谷、右北平各郡杀死公孙瓒任命的长吏，又与鲜于辅、刘和的军队会合，公孙瓒的军队屡次战败。

    在这之前，民间流传着一首童谣：“燕南垂，赵北际，中央不合大如砺，唯有此中可避世。”公孙瓒觉得这首童谣说的地方就是易县，于是把治所迁到那里。到了易县，他大兴土木，挖了十层壕沟，在壕沟里筑起土山，每座土山都有五六丈高，还在上面盖起高楼。最中间的土山修得格外高，足有十丈，公孙瓒自己就住在那里。他用铁门把自己封闭起来，赶走身边的人，规定七岁以上的男子都不许进门，只和姬妾们住在一起。文书簿册都得用绳子吊上去传递。他还让侍女们练习大声喊话，要求声音能传到几百步外，用来传达命令。

    渐渐地，公孙瓒疏远了宾客，身边也没有可以信任的人，以前的谋臣猛将，也都一个个离开了他。从那以后，他很少再对外征战。有人问他为什么，公孙瓒说：“我以前在塞外驱逐胡人，在孟津扫荡黄巾军，那时候我觉得天下唾手可得。可到了现在，战事不断，我看这天下的局势，不是我能左右的。还不如让士兵休息，专心种地，也好应对灾年。兵法上说，有百层高楼就难以攻破。现在我各个营寨的望楼有几十重，还储存了三百万斛粮食。等吃完这些粮食，说不定天下局势就明朗了。”

    这期间，南单于于扶罗去世，他的弟弟呼厨泉继位，把部落驻扎在平阳。