二人常不辞辛劳随身守护，有时一站就是大半天。刘备辗转担任许多官职后，投奔昔日同窗公孙瓒，刘备被封为平原相，时关羽、任别部司马，分统部曲。
建安元年(196年)，袁术攻打刘备，争夺徐州。刘备派守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负。下邳相曹豹是陶谦的旧部，与不和，为所杀，于是城中人人自危，颇为混乱。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。吕布很高兴，率军而至。刘备中郎将许耽开门投降，败走。吕布俘刘备妻小和诸将家属。由于形势所迫，刘备、只好暂时依附吕布，驻军小沛。吕布还刘备妻小。刘备驻小沛，发展较快，不久便聚众万余人，吕布不安，又率来攻，刘备只得携等投奔曹操，并与曹操联合，打败吕布。
197年6月，曹操击败吕布，被任命为中郎将。后来刘备再依袁绍、刘表，最后屯兵于新野。几年后，刘表死，曹操南下，刘备弃新野行陆路南逃，曹操派出精骑兵追了一日一夜，在当阳桥上，刘备弃妻先逃，带领二十骑拒后，断桥、立于河边，大叫:“身是张益德也，可来共决死？”赤壁之战后，刘备夺下荆州，任命为宜都太守、征虏将军，封新亭侯，后转到南郡。
后来刘备入益州，不久与刘璋反目。213年，、诸葛亮、赵云等领荆州兵入蜀增援。到达江州，遇上刘璋大将严颜，严颜被生擒，严颜拒降的豪气感动了，被引为上宾。大军继续分定诸郡县，后推进至成都，与刘备会合。刘备成为蜀主，赐黄金五百斤，银千斤，钱五千万，锦缎千匹。
218年，曹操击败张鲁后，曹营名将张郃率军进入益州东北部，此地虽属益州但向来为张鲁的领地。刘备遂任为巴西太守，出兵争夺，两军对持五十多日。后来，率精兵万多人，邀张郃军交战，因山道狭窄，前后不能相救，张郃大败，弃马与十余人爬山退还南郑，此战不仅拓增刘备方领土，更使保住蜀地门户，使益州转危为安。随即参与攻打汉中的战事。219年，刘备据有