突厥曾侵犯边境，隋文帝派杨谅去抵抗，结果杨谅被突厥打败；他手下的将领因此被革职、流放的有八十多人，都被发配到岭南防守。杨谅因为这些人是自己的老部下，上奏请求留下他们，隋文帝生气地说：“你作为藩王，只应该恭敬地遵守朝廷命令，怎么能私下议论老部下，破坏国家法律！唉，你这小子，一旦我不在了，要是想妄动，别人抓你就像抓笼子里的小鸡一样容易，要这些心腹有什么用！”
王頍是王僧辩的儿子，洒脱不羁，喜欢奇谋妙计，担任杨谅的咨议参军；萧摩诃是陈朝的旧将，两人都不得志，常常郁郁寡欢，想发动叛乱，都被杨谅亲近信任，他们也鼓励杨谅实施谋反计划。
当时火星停留在东井星宿的位置，仪曹（官名）邺县人傅奕精通天文历法，杨谅问他：“这是什么征兆？”傅奕回答：“天上的东井星宿，是黄道经过的地方，火星经过那里，是正常现象；如果火星进入地上的井里，才是怪事。”杨谅听了很不高兴。
等到隋文帝去世，隋炀帝派车骑将军屈突通拿着隋文帝的玺书征召杨谅。之前，隋文帝曾和杨谅秘密约定：“如果玺书召你，‘敕’字旁边会额外加一点，还要和玉麟符（一种兵符）对上，你才可以来。”这次送来的玺书没有这些验证标记，杨谅知道情况有变。他责问屈突通，屈突通回答时毫不屈服，杨谅就把他放回长安。随后，杨谅发兵叛乱。
总管司马（官名）安定人皇甫诞极力劝谏，杨谅不听。皇甫诞流着泪说：“我预料大王您的兵力物资不是朝廷的对手；再说君臣名分已经确定，顺逆形势不同，即使士兵精锐，也难以取胜。一旦陷入叛乱，被写进刑律定罪，就算想做平民也不可能了。”杨谅发怒，把他关了起来。
岚州刺史乔钟葵要去投奔杨谅，他的司马京兆人陶模反对说：“汉王图谋不轨，您蒙受国家厚恩，应该竭诚效力，怎么能成为叛乱的开端呢！”乔钟葵脸色大变，说：“你这司马要造反吗！”用兵器威胁他，但陶模言辞坚定，毫不屈服，乔钟葵被他的忠义打动，放了他。军吏说：“如果不杀陶模，无法镇住众人的心。”乔钟葵又把陶模关了起来。当时，跟随杨谅叛乱的共有十九个州。
王頍劝杨谅说：“大王您手下的将领官吏，家属都在关西（长安一带），如果用这些人，就应该长驱直入，直接攻占京城，这就是所谓的‘迅雷不及掩耳’；如果只想割据原来北齐的地盘，就应该任用关东人。”杨谅不能决定，就同时采用两种策略，宣称杨素谋反，要讨伐他。
总管府兵曹（官名）闻喜人裴文安劝杨谅说：“井陉以西的地区，都在大王掌控中，关东的兵马也归我们所有，应该全部征发；分派弱兵驻守要害之地，再命令他们相机攻占土地，您亲自率领精锐，直攻蒲津关。我请求担任前锋，大王率领大军随后跟进，行动像风、攻击像雷，驻扎在霸上（长安东边的军事要地）。咸阳以东的地区，挥手之间就能平定。京城震动混乱，军队来不及集结，朝廷上下互相猜疑，人心离散恐惧；我们部署军队发布命令，谁敢不听从！十天之内，就能平定天下。”
杨谅非常高兴，于是派自己任命的大将军余公理从太谷出发，直奔河阳；大将军綦良从滏口出发，直奔黎阳；大将军刘建从井陉出发，攻占燕、赵地区；柱国乔钟葵从雁门出发；任命裴文安为柱国，和柱国纥单贵、王聃等人直接进军京城。
隋炀帝任命右武卫将军洛阳人丘和为蒲州刺史，镇守蒲津关。杨谅挑选几百名精锐骑兵，让他们戴着幂（古代妇女遮面的头巾，这里用来伪装），谎称是杨谅的宫女返回长安，守关士兵没有察觉，他们直接进入蒲州，城中也有豪杰响应；丘和发现变故，翻墙逃出，逃回长安。蒲州长史勃海人高义明、司马北平人荣毗都被叛乱者抓住。
裴文安等人离蒲津关还有一百多里时，杨谅突然改变计划，命令纥单贵拆断黄河大桥，驻守蒲州，同时召裴文安返回。裴文安回来后，对杨谅说：“军事行动要靠诡诈和速度，原本想出其不意。大王您既不前进，又把我召回来，让对方制定好对策，大事就完了！”杨谅不回应。他任命王聃为蒲州刺史，裴文安为晋州刺史，薛粹为绛州刺史，梁菩萨为潞州刺史，韦道正为韩州刺史，张伯英为泽州刺史。
代州总管天水人李景发兵抵抗杨谅，杨谅派将领刘暠袭击李景，李景反击杀死刘暠。杨谅又派乔钟葵率领三万精锐进攻，李景手下只有几千士兵，加上城池不坚固，被乔钟葵攻打，城墙接连倒塌，李景一边作战一边修补城墙，士兵们都拼死战斗，乔钟葵多次战败。司马冯孝慈、司法吕玉都勇猛善战，仪同三司侯莫陈乿擅长谋划，精通防守战术，李景知道这三个人可用，真诚信任他们，自己不过问具体事务，只在府中坐镇，偶尔安抚士兵而已。
杨素率领五千轻骑兵，去蒲州袭击王聃、纥单贵。夜里，他们到达黄河边，征集