而和卫青齐名的霍去病也是颇为传奇的，霍去病出生于公元前140年，是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子。霍仲儒当差期满，回到平阳县，与在长安平阳公主府的卫少儿失去联系。
因此霍去病一直不知道自己的父亲是谁，直到成为骠骑将军后才与父亲相认。公元前139年，卫少儿的妹妹卫子夫得幸汉武帝刘彻。一年多后（公元前138-137年），卫子夫全家贵幸。
卫少儿曾经与曲逆侯陈平的曾孙陈掌私通，从而与陈掌结婚。公元前128年，卫子夫被立为皇后。霍去病因此在年幼时成为当时最重要的外戚家族的一员，过上上流社会的生活。
霍去病在少年时代就“善骑射”。刘彻很喜欢他，让他做了自己的近臣侍中。刘彻还曾想亲自教授霍去病《孙子兵法》。
霍去病生为奴子，长于绮罗，却从来不曾沉溺于富贵豪华，他将国家安危和建功立业放在一切之前。刘彻曾经为霍去病修建过一座豪华的府邸，霍去病却断然拒绝，说：“陛下，匈奴未灭，何以家为？”
随后刘彻被霍去病的言行所感动，对霍去病更加的重用。
霍去病是霍仲孺的私生子。但霍去病直到长大后才知道了父亲的事。此时他正任骠骑将军出征，顺道到了平阳（今山西临汾），霍去病便命下属将霍仲孺请到休息的旅舍，跪拜道：“去病早先不知道自己是大人（大人：汉唐时指父亲）之子。”
霍仲孺愧不敢应，匍匐叩头说：“老臣得托将军，此天力也。”随后，霍去病为霍仲孺置办田宅奴婢，并在领军归来后将同父异母的弟弟霍光带到长安栽培成材。
公元前123年，17岁的霍去病被刘彻任命为票姚校尉，两次随卫青击匈奴于漠南，与轻勇骑八百直弃大军数百里赴利，斩捕首虏过当（“过当”一般被理解为斩杀敌人数目超过己方损失的数目。），斩获敌人2028人，其中包括相国、当户等高级官员，同时也斩杀了单于的祖父辈籍若侯产（籍若侯乃封号，名产），并且俘虏了单于的叔父罗姑比，两次功冠全军，以一千六百户受封冠军侯[10]。
公元前121年，刘彻任命19岁的霍去病为骠骑将军。于春、夏两次率兵出击占据河西（今河西走廊及湟水流域）地区浑邪王、休屠王部。在春季攻势中，霍去病率一万骠骑出陇西，转战河西五国，与单于的儿子交战。再越过焉支山，6天中急行军一千多里。在皋兰山下(今兰州南部)重创匈奴，歼敌近九千人，俘获匈奴祭天金人，因功加封食邑二千户。在夏季攻势中，霍去病与公孙敖率领数万骑兵分路进军。公孙敖迷路迟到，未能与霍去病会和。
霍去病果断决定孤军深入，歼敌3万余人。俘虏匈奴五王，五王母，单于阏氏、王子五十九人，相国、将军、当户、都尉六十三人，让匈奴的实力受到一次极大的打击，又加封食邑五千户。