王安统算了一下并州兵马，共有十四万五千余人，可并州地处边陲，要防御的地方实在太多，除了被围在中间的定襄郡，其余各郡皆需要防备，所以两路大军西征后带回的部队被分派到各郡后实际所剩不到五万人。为了不打草惊蛇，郭嘉提议以雁门为界集大军六万分两大路六小路分别由关羽、赵云、张辽、典韦、高顺、裴元绍以练兵的名义分批暗中靠近太行山西侧。关羽、赵云分别为两路军统率，郭嘉、沮授为两路大军军师，周仓、睦固分别跟随两路主帅为副以便联络黑山军。刘琦亲率田丰、王安坐镇壹关，调集上党守军两万，统等粮草和机动增援各方。
黄巾起义军主力被镇压后，统治阶级发生内讧，在此期间，冀州黑山等地农民纷纷起义，用各种名号组织起来。自黄巾贼后，复有黑山、黄龙、白波、左校、郭大贤、于氐根、青牛角、张白骑、刘石、左髭丈八、平汉、大计、司隶、掾哉、雷公、浮云、飞燕、白雀、杨凤、于毒、五鹿、李大目、白绕、眭固、苦哂、罗市之徒，并起于太行山谷间，多不胜数。……各有所因。大者二三万，小者六七千。贼帅常山人张燕，本名褚燕，于黄牛起义时跟随张牛角起事。黄巾之乱被镇压后，张牛角领着张燕等人潜入太行山中，与中山、常山、赵郡、上党、河内诸山谷寇贼相交，众至伯万，号曰黑山贼。黑山军的活动区域是中山、常山、赵郡、上党、河内等地太行山脉的诸山谷之中。黑山则位于太行山脉的南端，史书称之为黑山军。而太行山脉高峰迭起，海拔多在两千公尺以上。山脉东南为河北平原，西北则为山西高原，河北平原通向山西高原的陉道多分布在太行山脉之间。太行山脉这一地势特点为分布在太行山各山谷中黑山军各部的相互联络和战略上相互配合了较为便利的条件。
征战中，张牛角被流矢射中，身受重伤，临死之前，收褚燕为义子，命令他的部下尊奉褚燕为首领。张牛角死后，众人一起拥戴褚燕为首领，于是褚燕改姓张，唤作张燕。张燕因身轻如燕，又骁勇善战，所以军中都称他为“飞燕”。后来张燕的部队不断壮大，与常山、赵郡、中山、上党、河内等地叛匪互相联络，叛匪中的小头领张白骑、陶升、孙轻、王当等人，都带着部众归附到张燕麾下，张燕部众发展到近百万人，成为黑山一代叛匪的最大势力。
壹关以南山脉则由于毒、髭丈八、刘石、青牛角、左校、郭大贤、李大目、于氐根、白绕、眭固、苦哂、罗市等部占据。眭固在张杨作上党太守时兵败被擒，后降于张杨。于毒在魏郡叛乱被杀后，众人推选郭大贤为帅，北联张燕，意欲合军。
白波谷军将领杨奉被刘琦斩杀，郭太见回并州无望，领韩暹、李乐、胡才等人在王允当权时向朝庭递上降表，领兵盘居在河东境内。
裴元绍与张燕相识，曾于张角手下共事，张角死后黄巾被打散，大家各自奔逃，占山为王，已经多年不曾相见。而眭固本来就是壹关以南的小帅之一，与于毒不合，但与郭大贤、李大目、白绕等关系不错，投靠刘琦前一直还有联系。
大军在悄悄地向太行山靠拢集结，贾诩带着太史慈乔装扮作富户人家，出壹关往常山方向而去。
张燕这人也算是颇有胆识，一直以来对张牛角也是忠心耿耿。张牛角是张角的忠实拥护者，所以在他的影响下，张燕也是彻底的被太平道教义洗脑。张燕认为东汉朝廷已经腐败不堪，只有遵循天师张角的遗志，推翻朝廷，重新建立新王朝才能让百姓不再受苦。可是随着黑山势力的扩涨，百姓人口越来越多，山谷中可以用来耕种的土地本来就不多，那数以百万计的民众生存就成了大问题。于是便组织兵众出山劫掠。并州刘琦防范森严，又加上张燕其实挺佩服刘琦对外族的态度，当然还有白波军的失败，让他不敢对并州用兵。恰逢袁绍与公孙瓒在冀州青州对战争抢，便率众攻略邯郸、赵国、常山等地。哪知道袁绍虽然多线开战，却兵多将广，派文丑与张燕战于常山。双方互有损伤，相持不下。可冀州富饶，粮草充足，黑山军却耗不起，只好退回山中。南路的于毒也一败再败，甚至连统帅于毒都战死。张燕很想收拢太行山中所有黑山军民，集中兵力与袁绍再战，可又怕人口太多，没有粮草供应。何况山中众帅并不齐心，没有粮食时甚至出现了相互攻掠的事。山中的百姓过的是苦不堪言，年轻的、精壮的都被拉去做了贼兵，留下的老弱病残本就填不饱肚子，还得担心被其他山寨抢掠。