就在公元618年的夏天，宇文化及在江都杀死隋炀帝，自封大丞相。早就想自立门户的李渊顺势废除傀儡皇帝，隋王朝最后的火种也熄灭了。同年建立唐王朝，定都长安，是为唐高祖。

已经想自立门户的李渊顺势废除傀儡皇帝——隋炀帝的孙子杨侑，自己登上皇位，改国号为唐，定都长安，李渊为唐高祖。虽然已经建立了新的王朝，但是次年窦建德攻陷聊城，诛灭宇文化及贼党，锋芒直掠新生的唐王朝。所以当下如何巩固王朝的统治，如何在混乱中立于不败之地，成了李渊和几个儿子以及诸多大臣的一块心病。

当时的唐朝，面对着王世充和窦建德的威胁，急需一支带有敢死队性质的先锋军，用于突破敌阵，鼓舞军队士气的作用。李渊曾经在太原复制阻击突厥人的侵扰，为了能够和孔武凶狠的突厥军队抗衡，李渊拣选善骑射者2000人左右，饮食作息训练都仿照突厥人的模式。《资治通鉴》对于李渊这支骑兵的评价很高，说这支军队经常打胜仗，突厥人很是忌惮。

能够让凶狠的突厥兵忌惮，这支军队一定有其出众之处，这应该是玄甲军的雏形。李世民本来没有太多机会接触军队的，但是因为太子李建成需要学习处理政务，然后军队的指挥权就交到了李世民的手中。其实李渊骑兵造反后，李世民就迅速率领麾下将军组建了一支强悍的军队，四处作战很是悍勇。后来秦琼和尉迟恭等大将相继加入李世民的部队，他已经笼络起一个十分强大的武将集团。

此后，大名鼎鼎的玄甲军就成立了，毕竟有秦琼这样不怕死敢打敢拼的绝世猛将在，他的这种风范绝对能够很快打出玄甲军的气势。历史记载秦王李世民挑选精锐一千余骑，都是穿的皁衣玄甲，分为左右队，这就是最早期的玄甲军了。后来在著名的武牢关战役中，李世民率领玄甲军打败王世充部，王世充不得已逃亡阳。

同年，窦建德的支援部队也到了，他先用步兵结成军阵抵挡对方的骑兵冲锋，同时轻骑兵快速迂回，最后时刻玄甲军一锤定音，一举击穿窦建德部，使其兵马全线崩溃。后期面对突厥的威胁，他把玄甲军打散，一部分成为守护皇宫的近卫军，这就是后来百骑司的前身；剩下的一部分交给大将军李靖统帅。

李靖堪称大唐军神，同时在整个封建王朝历史上都是排的上号的帅才，他带着十万大军，分四路出击东突厥，取得极大胜利