38年6月8日奉令组建，下辖张轸的第13军、张刚的第98军、关麟徵的第52军及李仙洲的第92军。
可以看到，这4个军没有一个是弱旅。
当然，31集团军的主干是第13军。对于第13军无需多言，他也是抗战中战果最辉煌的部队，也是汤恩伯起家的部队。
第13军在抗战刚刚开始的时候，在南口以绝对劣势重创日军，歼灭日军5000,6000人，并且死守20多日，导致日军在华北速战速决的计划破产。
南口激战中，13军利用山地地形死守阵地，为此付出巨大代价，第89师罗芳的第529团几乎全部殉国，第4师第12旅副旅长张本禹也在战斗中殉国。伤亡如此之大，却没有一兵一卒后撤。
由于13军表现出色，在1938年1月18日被扩编为20军团，下辖第13军、第98军和第85军。
另外两个军中，52军和他们的军长关麟征也是赫赫有名的劲旅。他们早在1933年长城会战时候就和日军血战数月，自己亲自前往一线指挥，结果身负重伤，被同僚们成为猛张飞。
98军稍差一些，他在1933年由湖北警备旅同湖北的中央军何成浚第3军团合并而成，之前战斗经验不多，但抗战以后也参加了多次血战。军长张刚为保定军校第六期毕业，在孙中山麾下作战了20年之久，也是一员悍将。
20军团随后紧急赶往山东，参加了著名的台儿庄战役。一般认为，汤恩伯的20军团是台儿庄战役胜利的决定力量，正是他从侧翼包抄和正面猛攻，导致日军第5师团和第10师团全线崩溃。
台儿庄战役结束以后，日军通过实战的经验，将汤恩伯的这个军团称作：精锐的中核兵团！
此战结束以后，第20军团再次扩编为第31集团军，参加了武汉会战。
主要是增加了李仙洲的第92军！
李仙洲这个将军也有传奇经历，他在太原会战时候亲赴第一线指挥，被狙击的三八式步枪子弹击