刘牢之一向厌恶骠骑大将军司马元显，担心桓玄被消灭后，元显会更加骄横放纵；又怕自己功劳名声越大，不被元显容纳；而且他自恃有才能武力，拥有强大军队，想借助桓玄的力量除掉执政者，再等待桓玄的空隙自己夺取政权，所以不肯讨伐桓玄。司马元显日夜沉迷饮酒，任命刘牢之为前锋，刘牢之多次上门求见，都见不到他；直到安帝出来为元显饯行，刘牢之才在公众场合见到元显。
刘牢之的军队驻扎在溧洲，参军刘裕请求攻打桓玄，刘牢之不答应。桓玄派刘牢之的族舅何穆劝说刘牢之：“自古以来，拥有让君主震动的威势、持有无法赏赐的功劳，却能保全自己的人，有谁呢？越国的文种、秦国的白起、汉朝的韩信，都侍奉贤明君主，为他们尽力，可功成之日，仍免不了被诛杀，何况是被凶恶愚蠢的人（指元显）利用呢！您如今战胜了会让宗族倾覆，战败了会让家族灭亡，想靠这个得到安稳归宿吗？不如彻底改变打算，这样就能长久保住富贵。古人（管仲曾射齐桓公带钩，寺人披曾斩晋文公衣袖），尚且不影响成为辅佐大臣，何况我桓玄和您没有过去的怨恨呢！” 当时谯王司马尚之已经战败，人心更加恐慌，刘牢之很认同何穆的话，开始和桓玄勾结往来。东海中尉东海人何无忌，是刘牢之的外甥，他和刘裕极力劝谏，刘牢之不听。刘牢之的儿子骠骑从事中郎刘敬宣劝谏说：“如今国家衰败危险，天下的重任在大人您和桓玄身上。桓玄凭借父亲、叔叔的资历，占据整个楚地，分割了晋国三分之二的领土。一旦放纵他欺凌朝廷，等他威望形成，恐怕就难以对付了，董卓那样的祸变，就要在今天发生了！” 刘牢之发怒说：“我难道不知道！如今消灭桓玄易如反掌，可平定桓玄后，让我怎么对付骠骑大将军（元显）呢！” 三月乙巳朔日（初一），刘牢之派刘敬宣到桓玄那里请求投降。桓玄暗中想杀刘牢之，却设宴招待刘敬宣，摆出名家书画一起观赏，来安抚取悦他。刘敬宣没察觉桓玄的意图，桓玄的下属官吏却无不互相使眼色（暗示内情）。随后桓玄授任刘敬宣为咨议参军。
司马元显正要出兵，听说桓玄已经抵达新亭，立刻放弃战船，撤退到国子学驻守。辛未日（初三），司马元显在宣阳门外列阵。军中突然惊慌骚动，传言桓玄已经到了南桁（今南京秦淮河上的浮桥），元显率军想退回皇宫。桓玄派人持刀跟在后面大喊：“放下武器！” 元显的士兵瞬间崩溃溃散，元显骑马逃进东府，只有张法顺一人骑马跟随。元显向司马道子请教对策，道子只能对着他流泪，说不出办法。桓玄派太傅从事中郎毛泰抓捕元显，押送到新亭，把他绑在战船前数落罪责。元显说：“我只是被王诞、张法顺耽误了啊！”
壬申日（初四），朝廷恢复隆安年号，安帝派侍中到安乐渚慰劳桓玄。桓玄进入京城，假传圣旨解除戒严，自任总百揆（总揽朝政）、都督中外诸军事、丞相、录尚书事、扬州牧，兼任徐、荆、江三州刺史，被授予假黄钺（代皇帝行使生杀大权）。桓玄任命桓伟为荆州刺史，桓谦为尚书左仆射，桓修为徐、兖二州刺史，桓石生为江州刺史，卞范之为丹阳尹。
当初，桓玄起兵时，侍中王谧奉朝廷诏令去见桓玄，桓玄亲自以礼相待。等到桓玄辅佐朝政，就任命王谧为中书令。王谧，是王导的孙子。新安太守殷仲文，是殷觊的弟弟，桓玄的姐姐是殷仲文的妻子。殷仲文听说桓玄攻克京城，放弃郡守职位投奔桓玄，桓玄任命他为咨议参军。刘迈去见桓玄，桓玄说：“你不怕死，还敢来见我？” 刘迈说：“管仲射齐桓公带钩、寺人披斩晋文公衣袖，再加上我刘迈，就是三件宽容贤才的事了。” 桓玄很高兴，任命他为参军。
癸酉日（初五），有关部门上奏，指控会稽王司马道子沉迷饮酒、放纵无度且不孝顺，应当判处死刑（弃市），安帝下诏将他贬谪到安成郡；在建康街市斩杀司马元显及东海王司马彦璋、谯王司马尚之、庾楷、张法顺、毛泰等人。桓修为王诞极力求情，王诞得以被流放岭南。
桓玄任命刘牢之为会稽内史。刘牢之说：“刚投降就要夺走我的兵权，灾祸要来了！” 刘敬宣请求回去劝说刘牢之，让他接受任命，桓玄同意了。刘敬宣劝刘牢之偷袭桓玄，刘牢之犹豫不决，率军转移到班渎驻守，私下对刘裕说：“如今我要向北到广陵投靠高雅之，起兵匡扶朝廷，你能跟我一起去吗？” 刘裕说：“将军您率领几万精锐士兵，却望风投降，桓玄刚得势，威震天下，朝廷内外人心都已归附他，广陵哪能轻易到达呢！我会脱下军服返回京口。” 何无忌问刘裕：“我该去哪里？” 刘裕说：“我看镇北将军（刘牢之）一定难逃灾祸，你可以跟我回京口。如果桓玄能恪守臣节，我们就侍奉他；如果不能，我们就一起图谋除掉他。”
于是刘牢之召集所有僚属，商议占据长江以