张俊,字杰三，小南沟张家新庄（清属固原）人，生于道光二十一年（1841）正月十三日。俊出身农家，稍识文墨。性谦和，寡言欢，刚正不阿，不随流俗。青年时期务农为生。同治元年（1862），关中地区回民起兵反清，各地绅民召募团练，张俊与同乡沙三、李双良起而聚众自卫，活动于环县、庆阳、固原等地。不久，他手刃沙三，与李双良率众归附董福祥义军，转战于陇东、陕北一带。

同治七年(1868)，董福祥率部投降刘松山。刘松山收其众l0余万，从中挑选精壮3000余人编为“董字三营”，张俊任左营统领。在围攻金积堡回军时，俊随董福祥，西出花马池，克灵州，战吴忠堡时，右腋受枪伤，经大、小200余战，攻克金积堡。俊勇谋兼备，深得刘松山、刘锦棠器重，与福祥并授都司。

同治十一年(1872)，张俊随董福祥进军西宁，围攻陕西回军首领白彦虎，连下大、小峡口、润家沟，攻克河州、肃州，以战功迁至副将，赐号倭欣巴图鲁。白彦虎败入新疆，投靠勾结英、俄势力的阿古柏集团。朝廷从左宗棠意见，部署武力收复。光绪二年（1876）三月，张俊随董福祥进军天山北路，连克木垒河、古牧地、乌鲁木齐，擢总兵。在攻打玛纳斯城的战斗中，受命挖地道，掘长壕，用炸药轰坍城墙，攻克此城。北路收复后，他受命入关募军，组成“定远三营”，于光绪三年（1877）开赴新疆，随董福祥收复南疆，先后攻克南疆门户达坂城，阿古柏老巢托克逊城。九月，收复喀拉沙尔、库尔勒、库车、拜城等地，晋提督。十一月，攻占和田，擒斩守将金相印，赏穿黄马褂。史载：“文襄削平陇右，恢复新疆，什九赖甘军力。而福祥之立功，则又皆俊所左右，公论昭然，不可掩也”。收复新疆战役结束后，开始戍边生涯，多次反击挫败沙俄和阿古柏、白彦虎残部的侵扰。光绪五年（1879）正月，率部参加围歼犯边的阿卜杜勒哈玛父子，在博斯塘勒特克大败敌军。八月，参加布伦可追歼战。俊率定远中、右步队两营先进，追击逃敌至木吉，鏖战中，俊手刃敌执红旗悍卒，敌惊溃。俊部连夜进击，穷追不舍，四昼夜疾驰八百余里，人未交睫，马未卸鞍，士兵无不以一当十，奋勇争先。是役，擒安集延喀什噶尔大通哈买买赛义提，斩将11人，斩敌2000余，缴获甚众。俊被赏头品顶戴，授西宁镇总兵，后调任伊犁镇总兵。俊治军有方，军容整齐，所部一律白帜白甲，时人皆称“雪张”。

光绪二十一年（1895），接替董福祥升任喀什噶尔提督。光绪二十四年（1898），署理甘肃提督，招募马步五营。次年，因军机大臣荣禄推荐，进京任北洋武卫全军翼长兼统中军，赐紫禁城骑马，驻蓟县，戍守京畿东翼。

光绪二十六年（1900）二月，俊突染重病，三月初病逝于北京南苑军中。朝廷赐号“壮勤”。其子儒珍扶柩回到灵武，八月，与夫人王氏合葬于故里。