【同年七月，李渊亲率三万大军西进，以李世民为先锋，直指关中。途经霍邑（今山西霍州）时，遭遇隋将宋老生的顽强抵抗。
恰逢连日大雨，粮草渐渐接济不上，又有消息传来：突厥与刘武周勾结，欲偷袭晋阳。李渊召集诸将商议，多数人主张退兵：晋阳是根本，若有闪失，我等将无家可归。李世民却在军帐外放声大哭，哭声穿透雨幕，传入李渊耳中。
李渊召他入帐，他抹着眼泪道：今兵已发，进则克敌，退则溃散。宋老生勇而无谋，可诱其出战；突厥与刘武周面和心不和，不足为惧。若此时退兵，将士必寒心，盗贼必趁势来攻，我等何以自全？
李渊被他说得心头一震，当即拍板：依二郎之计！
次日雨停，李世民亲率数十骑到霍邑城下挑战，宋老生果然怒而出战。李建成按计划佯攻东门，吸引敌军主力，李世民则率精锐埋伏在南门。当宋老生追至南门时，李世民突然率军杀出，截断其退路。双方激战半日，李世民一马当先，槊尖直取宋老生咽喉，将其斩于马下。霍邑城破后，李渊下令开仓放粮，百姓争相归附，义军兵力增至五万。
九月，义军渡黄河入关中，李世民率军经略渭北。他治军严明，所到之处吏民献牛酒者，悉辞不受，却对前来归附的农民军以诚相待。孙华率领的数万瓦岗余部来投，他亲自出营迎接，与孙华同乘一马入城；丘行恭带着乡勇来归，他当即任命为统军，让其自行统领旧部。
短短一个月，李世民麾下的兵力便增至十三万。十月，李渊兵临长安城下，李世民驻军城东，李建成屯兵城南，形成合围之势。
十一月初九，唐军攻破长安，李渊立代王杨侑为帝（隋恭帝），自任大丞相，封唐王，李世民则被任命为京兆尹，封秦国公。
年仅二十岁的他，站在长安城的朱雀大街上，望着往来穿梭的百姓，心中已然勾勒出一个王朝的轮廓。
义宁二年（618年）三月，江都传来消息：隋炀帝被宇文化及所杀。五月，李渊在太极殿登基，改元武德，国号大唐。李世民被封为尚书令、右武侯大将军，徙封赵国公。当百官山呼万岁时，他知道，平定天下的重任，已落在自己肩上。
唐朝建立之初，天下如同被打碎的瓷器，割据势力各自为王：薛举父子在陇西称雄，刘武周占据河东，王世充在洛阳称帝，窦建德于河北建夏，萧铣盘据江南。年仅二十岁的秦王李世民，成了李唐最锋利的剑，他的马蹄踏过中原大地，将这些分裂的碎片一一拼凑起来。
武德元年（618年）六月，薛举率军十万直逼长安，李世民任西讨元帅，进驻高墌。不料他突然染上疟疾，高烧不退，只得将军事委托给长史刘文静，反复叮嘱：薛举孤军深入，粮草不济，我军当坚壁不出，待其疲惫再击。
刘文静却觉得秦王太过保守，竟联合殷开山出兵迎战，结果在浅水原大败，唐军死伤过半。消息传到长安，李渊震怒，将刘文静削职为民。
八月，薛举突然病死，其子薛仁杲继位，李世民抱病再度出征。这一次，他下令非朕令，不得出战，任凭薛仁杲在营外百般辱骂，始终按兵不动。双方对峙六十余日，薛军粮尽，将士纷纷来降。李世民见时机成熟，先派梁实率千人在浅水原扎营，引诱薛军精锐出战，待其疲惫不堪时，亲率主力从侧翼突袭，斩首数千级。