苟曦上奏朝廷，建议迁都仓垣，并派从事中郎刘会带领几十艘船只、五百名宿卫士兵和千斛粮食，迎接晋怀帝。晋怀帝原本打算迁都，但公卿大臣们犹豫不决，身边的人又舍不得财物，迁都计划最终没能成行。此后，洛阳城内饥荒愈发严重，甚至出现人吃人的惨状，朝中百官十有八九都流亡在外。晋怀帝再次召集公卿商议迁都，却发现连护卫都没准备好。晋怀帝无奈地拍着手感叹：“怎么连辆车都没有！”只好派傅祗前往河阴准备船只，仅带着几十名朝中官员随行。晋怀帝步行出西掖门，走到铜驼街时，遭到盗贼抢劫，被迫返回宫中。度支校尉、东郡人魏浚率领几百家流民，在河阴的硖石据险自守，他们劫掠到一些粮食后，献给了晋怀帝。晋怀帝任命魏浚为扬威将军、平阳太守，同时保留他度支校尉的职务。
汉国皇帝刘聪派前军大将军呼延晏率领两万七千士兵攻打洛阳。呼延晏的军队抵达黄河南岸时，先后十二次击败晋军，晋军战死三万余人。随后，始安王刘曜、王弥、石勒也率领军队前来会合。在他们到达之前，呼延晏把辎重留在张方原来的营垒，于癸未日率先抵达洛阳，甲申日攻打平昌门，丙戌日将其攻克，接着焚烧了东阳门以及各个官署衙门。六月丁亥初一，呼延晏因后续部队没有赶到，在城中大肆抢掠一番后离去。晋怀帝原本在洛水准备好船只，打算向东逃走，结果船只全被呼延晏焚毁。庚寅日，荀藩和弟弟光禄大夫荀组逃往轘辕关。辛卯日，王弥抵达宣阳门；壬辰日，始安王刘曜抵达西明门；丁酉日，王弥、呼延晏攻克宣阳门，进入南宫，登上太极前殿，纵容士兵大肆抢掠，将宫女和珍宝搜刮一空。晋怀帝从华林园门出逃，想要前往长安，却被汉国士兵追上抓获，囚禁在端门。刘曜从西明门进入洛阳后，驻扎在武库。戊戌日，刘曜杀掉太子司马诠、吴孝王司马晏、竟陵王司马楙、右仆射曹馥、尚书闾丘冲、河南尹刘默等人，洛阳城中军民死者达三万余人。汉国军队还挖掘晋朝皇陵，焚毁宫殿、宗庙和官府。刘曜纳娶了晋惠帝的皇后羊献容，将晋怀帝以及传国六玺迁往平阳。石勒则带兵出轘辕关，驻扎在许昌。光禄大夫刘蕃、尚书卢志逃往并州。
丁未日，汉国皇帝刘聪大赦天下，改年号为嘉平。他任命晋怀帝为特进左光禄大夫，封平阿公；任命侍中庾珉、王俊为光禄大夫。庾珉是庾敳的哥哥。
起初，始安王刘曜因王弥没等他到就先进入洛阳，心中怨恨。王弥劝刘曜：“洛阳位居天下中心，四周山河环绕，城池和宫殿都不用重新修建，应该禀报皇上，把都城从平阳迁到这里。”刘曜认为天下尚未平定，洛阳四面受敌，难以坚守，没有采纳王弥的建议，反而下令焚毁洛阳。王弥怒骂道：“匈奴人，哪有当帝王的志向！”从此，王弥与刘曜产生矛盾，带兵向东驻扎在项关。前司隶校尉刘暾劝王弥：“如今天下大乱，各路英雄竞相逐鹿。将军为汉国立下不世之功，却又与刘曜失和，以后该如何自处？不如向东占据青州老家，静观天下局势。进可以统一天下，退也能割据一方，这才是上策。”王弥觉得很有道理。
司徒傅祗在河阴设立行台，司空荀藩在阳城，河南尹华薱在成皋，汝阴太守、平阳人李矩为他们建造房屋，运送粮食。华薱是华歆的曾孙。
荀藩和弟弟荀组、族子中护军荀崧，华薱和弟弟中领军华恒，在密县设立行台，向各地发布檄文，推举琅邪王司马睿为盟主。荀藩以皇帝名义任命荀崧为襄城太守，李矩为荥阳太守，前冠军将军、河南人褚翜为梁国内史。扬威将军魏浚驻扎在洛阳北面的石梁坞，刘琨以皇帝名义暂任魏浚为河南尹。魏浚前往荀藩处商议军事，荀藩邀请李矩一同会面，李矩连夜赴约。李矩的下属们都劝他：“魏浚这人不可信，不该夜里去。”李矩却说：“忠臣都有一颗赤诚之心，有什么可怀疑的！”于是前往，与魏浚等人结下友好关系后离去。魏浚的族子魏该聚众占据一泉坞，荀藩任命他为武威将军。
豫章王司马端是太子司马诠的弟弟，向东逃到仓垣。苟曦率领众官员尊奉司马端为皇太子，设立行台。司马端以皇帝名义任命苟曦为太子太傅、都督中外诸军、录尚书事。苟曦随后从仓垣转移到蒙城驻扎。
抚军将军秦王司马业是吴孝王司马晏的儿子，荀藩的外甥，年仅十二岁，向南逃到密县，荀藩等人尊奉他为主，前往许昌。前豫州刺史、天水人阎鼎在密县聚集了几千名来自西州的流民，想返回故乡。荀藩见阎鼎有才能又手握重兵，便任命他为豫州刺史，让中书令李絙、司徒左长史、彭城人刘畴、镇军长史周顗、司马李述等人担任阎鼎的属官。周顗是周浚的儿子。
当时天下大乱，只有江东地区相对安定，中原地区的士人百姓为躲避战乱，大多南渡长江。镇东司马王导劝说琅邪王司马睿招揽这些贤才，共同治理江东。司马睿听从建议，征召了一百多名属官，当时的人称之为“百六掾”。他任命前颍川太守、勃海人刁协为军咨