辍学后，在酒店当了一年学徒，才又考入长沙师范读了三年，1923年在该校第二部毕业。1923年12月，广州革命政府派人到长沙公开招考军校学生，这年李默庵刚满十九岁，又恰值中学毕业，完全符合报考条件，因而一考即取。
于是，十分欣奋自筹旅费三十元现大洋，与同被录取的二十余人为一批，公推陈赓为领队，绕道武汉、上海、香港，到达广州。
1924年考入黄埔一期1926年1月，李默庵被调参加东征，任第一军第六十团的党代表。1926年秋，北伐开始。李默庵改任第一军第一师第六十五团一营一连连长。随军北上，攻入武昌后，升任该团第一营营长。接着，移师东征，讨伐孙传芳，攻克南昌；这年冬，攻克杭州，次年春，又进占上海。他因无役不从，战功卓著而升任该团副团长。
1927年夏天，他参加了有名的龙潭恶战，打败了过江的孙传芳军队，并乘胜追击尽歼其残部，受到军部的嘉奖。同年秋天，他率部渡江，连续激战后，克蚌埠、占徐州，晋升为该团团长。
1928年春，李默庵率部沿津浦线北进后攻克泰安，会同友军，于这年4月穿越泰山，进入济南，以功升任旅长。由于触犯了日本人在山东的利益，驻鲁日军便一手制造了“五·三惨案”，逼使常凯申退让，同意大军不再入城而绕道北伐。这年夏秋之际，平津及山海关以内全境光复，东北易帜，北伐完成。
不久，全国军队实行整编，取消了军的建制，改以师为单位，每师二旅，每旅二团。李默庵却在部队缩编的情况下，担任第十一师第三十一旅旅长。