杜如晦掌吏部，负责选拔官员。他用人不唯门第，不唯言辞，而是看重实际才干和品德。他主张先由州郡推荐，然后考核录用，杜绝了那些只会夸夸其谈的钻营之徒。他引荐贤才，罢黜不肖，使朝堂上下风气为之一新。
监察御史陈师合上《拔士论》，暗中讽喻杜如晦身兼数职，权力过大。唐太宗看后，当即驳斥：“房玄龄、杜如晦不是因为功臣旧故提拔，而是因为他们有治理天下的才能。陈师合想以此离间君臣，罪不可恕！”当即将其流放岭南。
杜如晦得知后，心中感激，却更加谨慎。他知道，天子的信任是最大的恩宠，也是最大的责任。
然而，长年的操劳，早已透支了杜如晦的身体。贞观三年冬，杜如晦病倒了。
起初只是偶感风寒，他却坚持上朝，不肯告假。房玄龄见他面色憔悴，劝他回家休养，他只是摇头：“天下初定，百废待兴，正是用人之时，岂能因病偷闲？”
病情一天天加重，他终于撑不住了，只得向唐太宗上表请求辞官。唐太宗见奏，心中大恸，下诏让他保留官职俸禄，在家养病。同时，他不断派遣御医前往杜府诊治，又命宫中使者络绎不绝地送去珍贵药材。
那些日子里，通往杜府的道路上，太医的马车和宫中的使者络绎不绝，路上的人都能望见前面人的背影。唐太宗每日都要询问杜如晦的病情，听到稍有好转，便喜形于色；听到病情加重，便愁眉不展，连饭都吃不下。
贞观四年三月，杜如晦病情急剧恶化。唐太宗闻讯，命太子李承乾亲自前往杜府探视，以示尊崇。他自己也放下政务，亲临杜府。
那是一个阴沉的下午，唐太宗坐在杜如晦的病榻前，看着这位跟随自己二十余年的老臣，形容枯槁，面如金纸，不禁潸然泪下。他握着杜如晦干枯的手，久久说不出话来。
杜如晦勉强睁开眼，望着这位与自己生死与共的君王，嘴唇微微颤动，似乎想说什么，却已经发不出声音。他只是用力握了握太宗的手，目光中满是感激与不舍。
不久之后，杜如晦陷入昏迷。唐太宗命人将他儿子杜构召到榻前，擢升其为尚舍奉御，以示恩宠。随后，他含泪离去。
数日后，杜如晦病逝于长安家中，年仅四十六岁。
消息传入宫中，唐太宗放声大哭，三日不能上朝。他追赠杜如晦为司空，封莱国公，谥号“成”。又命着作郎虞世南亲自撰写碑文，并哭着对虞世南说：“朕与如晦，君臣义重。不幸物故，追念勋旧，痛切肝肠。卿体朕怀，为制碑文。”
杜如晦下葬那天，唐太宗登上御苑的高台，望着送葬的队伍远去，泪流不止。他对身边的人说：“朕的臂膀断了，再也接不回来了。”
贞观五年的一天，唐太宗在宫中吃到一颗美味的香瓜，刚咬了两口，忽然停住了。他想起杜如晦生前也爱吃瓜，每有新鲜瓜果，总是两人分食。他将手中的瓜放下，对身边的人说：“拿去，一半供在如晦灵前。”
还有一次，唐太宗赏赐房玄龄一条黄银带。他亲手将带子交给房玄龄时，忽然又想起杜如晦，泪水夺眶而出。他对房玄龄说：“当年你和如晦一起辅佐朕，如今朕赏赐，却只见你一人。听说黄银能避鬼神，朕再取一条金带，你拿去送到如晦灵前吧。”
房玄龄捧着两条带子，跪在地上，泣不成声。
贞观七年，唐太宗下诏在杜如晦墓前祭祀少牢。贞观十七年，唐太宗命阎立本画二十四功臣像于凌烟阁，杜如晦位列第三，仅次于长孙无忌和李孝恭。
画成之后，唐太宗亲自登上凌烟阁，久久伫立在杜如晦画像前。画像上的杜如晦，面容清癯，目光沉静，一如生前。太宗轻声说道：“如晦，你在那边，可还安好？”
房玄龄活到了七十岁，比杜如晦多活了二十多年。但他晚年每次与人谈起贞观旧事，必定会提到杜如晦。他曾对儿子说：“为父这辈子，最好的搭档就是如晦。没有他的决断，我的谋划不过是纸上谈兵。我们俩，缺了谁都不行。”
房玄龄病重时，唐太宗将他接入宫中养病，每日派人探视。房玄龄临终前，对前来探视的太宗说：“臣死之后，陛下勿以臣为念。只是可惜如晦去得太早，没能看到今天的大唐盛世。”
唐太宗闻言，默然良久，然后缓缓说道：“如晦若在，看到今日景象，不知该有多高兴。”
后世史官在修《旧唐书》时，为房玄龄、杜如晦作合传，写下这样一段话：“文含经纬，谋深夹辅。笙磬同音，唯房与杜……世传太宗与玄龄图事，则曰：‘非如晦莫能筹之。’及如晦至，竟从玄龄之策。盖房知杜之能断大事，杜知房之善建嘉谋。二人深相知，故能同心济谋，以佐佑帝。”
后世论唐代良相，必首推房、杜。他们一个善谋，一个善断，如同左膀右臂，缺一不可。房玄龄多谋，却总要等杜如晦来拍板；杜如晦善断，却从不让房玄龄难堪。两人在太宗面前议事，从未有过争执，也从未有过推诿。