杨佺期整顿军队，树立军旗，声称要去救援洛阳，想和殷仲堪一起袭击桓玄。殷仲堪虽然表面上和杨佺期结盟，心里却怀疑他的用心，苦苦劝阻他；但杨佺期还是像老虎一样难以控制，殷仲堪只好派堂弟殷遹驻守在北部边境，来阻止杨佺期。杨佺期既不能单独起兵，又猜不透殷仲堪的真实想法，只好停止行动。
殷仲堪生性多疑，缺乏决断力，咨议参军罗企生对他的弟弟罗遵生说：“殷侯为人仁慈却没有决断，一定会遭遇到灾难。我蒙受他的知遇之恩，从道义上讲不能离开他，一定会为他而死。”
这一年，荆州发生大水，平地积水有三丈深，殷仲堪拿出仓库里所有的粮食来救济饥民。桓玄想趁他空虚的时候讨伐他，就出兵向西进发，也声称要去救援洛阳，还写信给殷仲堪说：“杨佺期蒙受国家恩惠却不顾朝廷，应该一起治他的罪。现在我要进入沔水讨伐杨佺期，已经在江口驻军。如果你对我没有二心，可以抓住杨广杀了他；如果不这样做，我就带兵进入长江。”当时巴陵有积存的粮食，桓玄先派兵袭击夺取了那里。梁州刺史郭铨正要去上任，路过夏口，桓玄谎称朝廷派郭铨做自己的前锋，还把江夏的军队交给郭铨，让他统领各军一起前进，又秘密告诉哥哥桓伟让他做内应。桓伟惊慌失措，不知道该怎么办，自己带着桓玄的信去给殷仲堪看。殷仲堪抓住桓伟作为人质，让他给桓玄写信，言辞十分恳切。桓玄说：“殷仲堪这个人没有决断力，常常想着成败的算计，为儿女做打算，我哥哥一定没什么可担心的。”
殷仲堪派殷遹率领七千水军到西江口，桓玄派郭铨、苻宏攻击他们，殷遹等人战败逃跑。桓玄驻守在巴陵，吃着那里的粮食；殷仲堪派杨广和侄子殷道护等人抵抗，都被桓玄打败。江陵城内十分震惊恐惧。城里缺少粮食，用胡麻给士兵当口粮。桓玄乘胜进军到零口，距离江陵只有二十里，殷仲堪急忙召见杨佺期来救援自己。杨佺期说：“江陵没有粮食，怎么对抗敌人！你可以来我这里，一起防守襄阳。”殷仲堪的想法是保全军队和地盘，不想放弃荆州逃跑，就骗杨佺期说：“近来收集的粮食，已经有储备了。”杨佺期相信了他，率领八千步兵骑兵，穿着闪亮的铠甲，到达江陵，殷仲堪却只用米饭来犒劳他的军队。杨佺期大怒说：“这次肯定要失败了！”他没有去见殷仲堪，和哥哥杨广一起攻打桓玄。桓玄害怕他们的锐气，把军队撤退到马头。第二天，杨佺期带兵猛攻郭铨，差点抓住他。恰逢桓玄的军队赶到，杨佺期大败，独自骑马逃往襄阳。殷仲堪出逃到酂城。桓玄派将军冯该追击杨佺期和杨广，把他们都抓住杀了，还把他们的首级送到建康。杨佺期的弟弟杨思平、堂弟杨尚保、杨孜敬逃到蛮族地区。殷仲堪听说杨佺期死了，带着几百人准备逃往长安，到达冠军城时，被冯该追上抓住，押回柞溪，逼迫他自杀，还杀了殷道护。殷仲堪信奉天师道，向鬼神祈祷求助，从不吝惜财物，却很少接济别人的急难。喜欢用小恩小惠来讨好别人，有人生病他亲自诊脉分药，使用的计谋曲折隐秘，却缺乏鉴别和谋略，所以最终导致失败。
殷仲堪逃跑的时候，文武官员没人跟着他，只有罗企生随行。路过家门口时，弟弟罗遵生说：“这么分别，怎么能不握个手呢！”罗企生掉转马头伸手，罗遵生力气大，趁机把他拉下马，说：“家里有老母亲，你走了要去哪里？”罗企生挥着泪说：“今天这事，我必死无疑，你们好好奉养母亲，不违背做儿子的本分。一家之中，有忠有孝，也没什么遗憾了！”罗遵生抱得更紧了，殷仲堪在路上等着，见罗企生没法脱身，就骑马走了。等桓玄到了，荆州的官员没有不去拜见他的，只有罗企生不去，反而忙着料理殷仲堪的家事。有人说：“这样做，灾祸肯定会来的！”罗企生说：“殷侯把我当国家栋梁对待，我却被弟弟牵制，没能跟着他一起消灭逆贼，还有什么脸面向桓玄求活呢！”桓玄听说后很生气，但他一向待罗企生不错，先派人对他说：“要是向我认错，我就放了你。”罗企生说：“我是殷荆州的属官，荆州败了，我没能救援，还有什么可认错的！”桓玄于是把他抓起来，又派人问他有什么话要说。罗企生说：“晋文帝杀了嵇康，嵇绍还是晋朝的忠臣。求您留我一个弟弟养活老母亲！”桓玄就杀了罗企生，赦免了他的弟弟。
后凉王吕光病重，立太子吕绍为天王，自己称太上皇帝，任命太原公吕纂为太尉，常山公吕弘为司徒，对吕绍说：“现在国家多难，三个邻居都在伺机而动，我死后，让吕纂统领军队，吕弘掌管朝政，你只要恭顺无为，把重任交给两位哥哥，或许还能渡过难关。如果你们内部互相猜忌，那家族内的战乱很快就会到来。”又对吕纂、吕弘说：“