这次出行，内史令李德林因生病没有跟随，隋文帝从同州派人带诏书追回他，和他商议讨伐南陈的计策。返回长安时，隋文帝在马上举起马鞭指向南方说：“等平定南陈那天，我要用七宝装饰你，让崤山以东没有人能比得上你。”
起初，隋文帝接受禅让建立隋朝以来，和南陈保持着深厚的睦邻关系，每次抓获南陈的间谍，都会给予衣服、马匹，以礼遣返，但南陈高宗陈顼仍不禁止边境军队侵扰隋朝。因此，太建末年，隋朝军队曾入侵南陈；恰逢陈顼去世，隋文帝立即下令撤军，还派遣使者前往南陈吊唁，国书中自称名字并叩首。南陈后主陈叔宝回复时却更加傲慢，国书末尾写道：“想必你统治的区域一切安好，这里则天下太平。”隋文帝很不高兴，把国书拿给朝臣看。上柱国杨素认为君主受辱，臣子应死，两次下拜请罪。隋文帝向高颎询问攻取南陈的计策，高颎回答：“长江以北气候寒冷，农作物收获较晚；江南水田作物成熟较早。在他们收获的季节，我们少量征调兵马，声称要袭击他们，他们必定会屯兵防守，这样就能耽误他们的农时。等他们聚集军队，我们就解散兵马。反复几次后，他们会习以为常；日后我们再真的聚集军队，他们必定不会相信。趁他们犹豫的时候，我们就渡过长江；登陆后作战，士兵的士气会更加旺盛。另外，江南土地贫瘠，房屋多由茅草、竹子建造，粮食储备都不藏在地窖里。我们可以秘密派人趁风放火，等他们重建后，再去焚烧。不出几年，他们的财力自然会耗尽。”隋文帝采纳了他的计策，南陈从此开始陷入困境。
于是杨素、贺若弼以及光州刺史高劢、虢州刺史崔仲方等人，争相献上平定江南的计策。崔仲方上书说：“如今只需在武昌以下，蕲州、和州、滁州、方州、吴州、海州等州，增派精兵，秘密谋划渡江计划；在益州、信州、襄州、荆州、基州、郢州等州，迅速建造战船，多布置兵力显示威势，准备水战的器具。蜀江、汉江是南陈的上游，水路险要，是必争之地。南陈虽然在流头、荆门、延洲、公安、巴陵、隐矶、夏首、蕲口、湓城等地部署了船只，但最终会在汉口、峡口聚集兵力，进行大规模水战。如果南陈因上游有我军进攻，派遣精兵增援，下游的将领就需趁机横渡长江；如果他们聚集兵力自卫，上游的水军就擂鼓前进。他们虽然依仗九江、五湖的险要地势，但没有仁德就无法固守；空有三吴、百越的兵力，没有恩惠就无法自立。”隋文帝任命崔仲方为基州刺史。
等到接受萧岩等人归降后，隋文帝更加愤怒，对高颎说：“我作为百姓的父母，怎能因一条像衣带一样窄的长江，就不去拯救江南的百姓呢！”于是下令大规模建造战船。有人建议秘密进行，隋文帝说：“我要公开替天行道，讨伐有罪，有什么可保密的！”还让人把造船剩下的木片投入长江，说：“如果他们害怕并能改正过错，我还有什么要求呢！”
杨素在永安建造大战船，名为“五牙”。船上建五层楼，高达一百多尺；船的左右前后装有六根拍竿，每根都有五十尺高，可容纳八百名士兵；次一等的战船名为“黄龙”，可容纳一百名士兵。其余的平乘、舴艋等战船，大小各有等级。
晋州刺史皇甫续即将赴任，向隋文帝叩首进言，称南陈有三条可灭的理由。隋文帝问具体情况，他说：“大国吞并小国，这是第一条；用有道的国家讨伐无道的国家，这是第二条；南陈接纳叛臣萧岩，我们有出兵的理由，这是第三条。陛下如果任命将领出兵，我愿意贡献自己的微薄之力！”隋文帝慰劳了他，然后派遣他赴任。
当时江南出现了很多怪异的现象，临平湖的水草长期堵塞湖面，忽然自行开通。陈叔宝对此感到厌恶，于是把自己“卖给”佛寺做奴仆，想借此压制邪气。他又在建康建造大皇寺，修建七层佛塔；还没完工，佛塔内部就起火被烧毁了。
吴兴人章华，喜爱学习，擅长写文章。朝臣因章华一向没有功绩和资历，竞相排挤诋毁他，只任命他为大市令。章华郁郁不得志，上书极力劝谏，大致说：“过去高祖向南平定百越，向北诛杀叛逆；世祖向东平定吴会，向西击败王琳；高宗收复淮南，开拓千里疆土，三位先祖的功劳已经很大了。陛下即位至今已有五年，不思念先帝创业的艰难，不知道天命的可畏；沉迷于宠妃，迷惑于酒色；祭祀七庙却从不亲自前往，册封三位妃子却亲自临朝；老臣旧将被弃置不用，谄媚奸邪之人却晋升到朝廷。如今边境日益缩小，隋朝军队逼近国境，陛下如果不改革朝政，我恐怕姑苏台会再次有麋鹿出没（意指南陈将亡）！”陈叔宝大怒，当天就把章华杀了。
祯明二年戊申（公元588年）
这年春天正月辛巳日，南陈后主立皇子陈为东阳王，陈恬为钱塘王。派遣散骑常侍袁雅等人出使隋朝；又派遣散骑常侍、九江人周罗睺率军驻守峡口，侵犯隋朝的峡州。
三月甲戌日，隋朝派遣兼散骑常侍程尚贤等人出使南陈。
戊寅日，隋文帝下诏说：“陈叔宝占据巴掌大的土地，放纵贪婪的欲望，掠夺百姓，耗尽他们