升任北洋常备军左镇步一协协统，奉命到山东组建北洋常备军陆军第五镇。1904年张怀芝调任山海关防营统领。1905年7月署理陆军第二镇统制官。1906年9月任南军暂编第四混成协统领，参加彰德秋操。1907年，张怀芝去日本参观日本陆军大学演习，回国后任北洋常备军第一镇第一协统领。1909年任北洋第五镇统制官。1910年部队驻天津。1911年2月29日任直隶混成协统统领；10月3日清廷任命张怀芝为甘肃提督。袁世凯复出之后，他被调任天津镇总兵，南北议和后就被调到山东任帮办山东防务大臣。
从张怀芝的履历可以看出，他还是属于北洋嫡系出身，不过在地位上要比北洋三杰要差一些。
北洋军第八师师长是王汝贤，第九师师长师孔庚，第12师师长陈光远，这三个人当中，王汝贤是直接效命袁世凯的，孔庚是陕西都督阎锡山的人，陈光远是冯国璋的人，56师师长黎天才只是被袁世凯欣赏，他却不效忠袁世凯，57师师长李进才是原清廷旧军人，清廷灭亡后加入了袁世凯麾下，至于对袁世凯又多少忠诚度就只有他知道了。
从资历上和与袁世凯的亲疏关系来看，张怀芝比这些人都要强得多，而且他也受过新式军事教育，对现在战争的看法和理解要比其他老军人深刻得多，这也是袁世凯调张怀芝过来坐镇郑州的原因。
不过张怀芝刚来就犯了一个致命的错误，他将从许昌撤退过来的黎天才和李进才残部一万两千余人部署在郑州南城门外长达五公里的防线上，而这里又是北伐军的主攻方向，要知道黎天才和李进才部原本就士气低落不堪，由于匆忙从许昌撤退，武器弹药丢失极多，特别是重武器严重缺乏，张怀芝将这两支部队抵挡北伐军的正面兵锋实在是一记昏招。
当张孝准下令26师向黎天才和李进才部发进攻后，这两支部队防守的城外三道防线在一天之内就被攻破了第一道防线，部署在第一道防线内士兵能够逃到第二道防线内的寥寥无几，特别是李进才部在白天的战斗