不到半年，辽东各地的汉人百姓渐渐安定下来，逃亡的人少了，开垦的荒地多了。存仁在巡查时，看到有满人妇女向汉人媳妇学做豆腐，有汉人孩童跟着满族骑兵学射箭，心里明白，这比任何政令都管用。他把这些见闻写进奏折，结尾道：“民心如田，你种什么，就收什么。”
这期间，存仁娶了第一位妻子李氏。李氏是辽东一个秀才的女儿，丈夫在战乱中死了，带着一个女儿过活。存仁见她识文断字，又能吃苦，便托人说合。新婚那晚，李氏红着脸问：“你是大官了，咋还娶我这样的寡妇？”存仁把红烛拨亮些：“我看中的是你能把日子过明白，跟是不是寡妇没关系。”李氏后来为他生了两个儿子，长子张璲，次子张瑾。
四、入关征战：治世之才的战场考验
顺治元年，清军入关，张存仁随军南下。一路上，他看到的不是胜利的荣光，而是断壁残垣和流离失所的百姓。在河北境内，有个村子被兵痞洗劫，存仁赶到时，只剩下一个抱着死去孩子的老妇，坐在烧焦的门槛上发呆。他让人把那几个兵痞抓来，当着全村人的面斩了，又拿出军粮分给幸存者：“朝廷是来定天下的，不是来抢天下的。谁再敢造次，这就是下场！”
进入江南后，汉人对清军的抵触更加强烈。扬州、江阴等地相继爆发抗清斗争，清军将领多主张屠城震慑，存仁却力排众议：“杀得再多，人心不服，将来还是要反。不如恩威并施，让他们知道，归顺了有活路，反抗才是死路。”
在南京，他亲自去拜访明末礼部尚书钱谦益。钱谦益起初闭门不见，存仁就在门外站了整整一天，从日出到日落，雨打湿了官服也没动地方。钱谦益被他打动，开门迎他进去。存仁不谈投降，只谈民生：“南京城里有十万百姓，若城破，他们怎么办？若归顺，我保证秋毫无犯，赋税减免三年。”钱谦益沉默半晌，最终选择献城归顺。
靠着这种“攻心为上”的策略，张存仁招抚了江南多个府县。他在各地设立“招抚局”，让汉人中有声望的乡绅主持，处理民间纠纷，登记土地人口。有下属劝他：“这些汉人靠得住吗？万一反了怎么办？”存仁指着招抚局门前的匾额，那上面是他亲笔写的“安民生”三个字：“靠不靠得住，要看咱们给不给他们靠得住的理由。”
征战途中，李氏病逝，留下两个年幼的儿子。存仁悲痛了好一阵子，后来经人介绍，娶了继室赵氏。赵氏是个泼辣能干的女子，不仅把家里打理得井井有条，还常劝存仁：“你总想着别人，也得想想自己的娃。璲儿都该启蒙了，你得找个好先生。”存仁听了，便在军中找了个落难的老秀才，让他教两个儿子读书。
五、治理地方：巡抚山东的务实之举
顺治二年，张存仁被任命为山东巡抚。那时的山东，刚经历过战乱和蝗灾，百姓逃散，土地荒芜，官府仓库里连三个月的粮草都凑不齐。存仁到任第一天，就带着幕僚去乡下视察，走了三天，鞋磨破了两双，看到的景象比他想象的更糟——有村庄十室九空，井台上长满了草；有百姓挖野菜充饥，见了官差就跑，以为又是来抢东西的。
回到济南府，存仁连夜写了份奏折，请求朝廷减免山东三年赋税，并调拨种子和耕牛。奏折递上去后，有幕僚担心：“朝廷刚入关，用钱的地方多，怕是批不下来。”存仁拍着桌子：“批不下来也要争！百姓吃不饱，谁来种地？谁来纳粮？朝廷要的是天下，不是一时的银子！”
幸好顺治帝和摄政王多尔衮采纳了他的建议。存仁拿着朝廷拨下的物资，分发给各州县，又贴出告示：“凡返乡种地者，每亩地给种子一斗，耕牛一头，三年不纳粮。”为了让百姓相信，他亲自在济南城外开垦了一块荒地，带着官差们种上小麦，说：“你们看，我一个文官都能种地，你们怕啥？”
百姓渐渐回来了，山东的田野里又有了炊烟。存仁还发现，山东多水患，黄河、运河时常泛滥，他便组织百姓修堤坝、挖沟渠，规定凡参与治水者，每天给两顿饭，还能折算成粮食抵税。有老农经验丰富，告诉存仁：“堤坝得用三合土，加了糯米汁才结实。”存仁就让人按他说的办，果然比往年坚固了许多。
在治理地方上，存仁最看重“公正”二字。有个满族旗人在济南城里强占民房，房主告到巡抚衙门，存仁让人把旗人传来，当着房主的面说：“这房子是他祖上传下来的，地契清清楚楚，你要么还给他，要么按市价买下来，选一样。”旗人不服，说要去京城告御状，存仁冷笑：“你去告，我随你去，看看朝廷是护着理，还是护着你仗势欺人！”旗人最终灰溜溜地把房子还了回去。
这期间，赵氏为他生了个女儿，取名张淑。存仁对这个女儿十分疼爱，常把她架在脖子上，在院子里看幕僚们下棋。有次张淑问：“爹，你总说要让百姓过上好日子，啥是