平凉州之战，曹操派张既征命马腾，要求他脱离部曲入朝为官，马腾虽已经许诺，但始终犹豫不决。张既恐其生变，乃令诸县储备粮食物资，以备不虞。复令二千石俸禄以上官吏出郊迎接，马腾不得已，乃入朝。曹操表他为卫尉，家属迁至邺城，并表其子马超为偏将军，统率马腾的部曲。建安十六年，马超反，张既从曹操破马超于华阴，西定关右。乃以张既为京兆尹，招怀流民，兴复县邑，百姓怀之。建安十七年，天子册封曹操为魏公，魏国初建。张既与毛玠、崔琰等担任魏公国尚书，后出任雍州刺史。曹操对张既说：“你回到故土任刺史，可以说是衣锦还乡了！”
建安十九年，张既从护军将军夏侯渊讨伐于枹罕称王为乱三十余年的羌人宋建，另又攻取临洮、狄道，平定陇右。当时，曹操欲迁徙民众以充河北，陇西、天水、南安三郡民众风闻后引发恐慌骚乱。张既使三郡内为将校官吏者免除民众税捐，让他们整治屋宅，筑水碓，显示无迁徙陇右郡民之意，民心遂安。
后来，张既从曹操征张鲁，别从散关入，氐王窦茂率部万余，恃险不服。张既讨伐叛氐，收其麦以给军食。张鲁投降后，张既建议曹操拔汉中之民数万户以充实长安及三辅。刘备攻汉中，另遣将军吴兰、雷铜进攻武都，张既与都护将军曹洪破吴兰于下辩。
建安二十四年，刘备占据汉中天险，曹操数攻不克，军士多有逃亡，不得已放弃汉中，又恐刘备北取武都氐人而进逼关中，问计于张既。张既答道：“可劝氐人迁出，到粮食充裕的地方避敌。并且对先至者予以重赏。如此氐人必争相赶往。”曹操依计行事，遣张既至武都，徙氐人五万余至扶风、天水两郡定居。此时，武威人颜俊、张掖人和鸾、酒泉人黄华、西平人麹演等各举郡反叛，自号将军，相互攻击。颜俊遣使送母及子诣曹操为人质，以求援助。曹操问计于张既，他答道：“颜俊等内存祸心，今番若救之，待其势力强大后必定复反。不如坐观虎斗，使其两败俱伤，我们再效法卞庄子刺虎，坐收其毙。”曹操称善。一年后，和鸾杀颜俊，武威王秘又杀和鸾。
曹丕即位魏王后，张既领兵至凉州为护羌校尉苏则壮大声势，最终苏则成功平定当地叛乱。黄初二年，凉州卢水胡伊健妓妾、治元多等反，河西大扰。魏文帝曹丕十分忧虑，说：“非既莫能安凉州。”乃召回邹岐，另以张既为凉州刺史。诏曰：“昔日贾复请求统兵去攻打郾县的贼寇，光武帝笑着说：‘执金吾去攻打郾县，我还有什么烦恼呢？’你智谋胆略都胜过别人，现在正是你施展本领的时机，我允许您因利乘便，相机行事，不用再先向我请示。”