公元617年，李渊又被封为太原留守，负责镇压农民起义军。太原是军事重地，那里兵源充足，储存着可以使用十年的军粮。因此，李渊特别高兴，打算在太原发展自己的势力。初到太原，李渊就领兵击败了位于太原南部的农民起义军，使得自己在太原的地位得以巩固。之后，李渊又派长子李建成在河东结交英雄豪杰，派次子李世民在晋陽一带招揽人才。
当时李渊所镇守的太原，多次遭到北方少数民族突厥的騷扰。李渊出兵抵抗，却连续几次被打败。如果这件事被朝廷知道，那么李渊的处境将非常危险。
一天早上，李渊和王威、高君雅一起商议公事。刘文静把开陽府司马刘会政领到他们面前。刘会政说，他有一张密状要交给李渊。李渊让他将密状呈上。刘会政说副留守是他要告的人，因此不能够让两个副留守看，只给李渊一个人看。李渊故意装出一副惊愕的样子，说：“怎么会有这样的事情？”之后，他接过密状，看了起来。看过之后，他对其他人说：“王威和高君雅是叛徒，他们打算与突厥人里应外合，攻入太原城中。”于是，李渊命令士兵将他们抓了起来。第二天的时候，太原被几万突厥人围攻，人们便对王、高二人勾结突厥一事深信不疑，李渊就名正言顺地杀死了他们。
公元618年，李渊称帝，定国号为唐，定都长安。李渊就是唐高祖。
公元618年夏，躲在江都享乐的隋炀帝被大将宇文化及和禁军将士们包围起来。隋炀帝非常生气地问道：“你们实在胆大包天，难道不知道这是死罪吗？是谁让你们这样做的。”
李世民的话把李渊吓得颤抖不已。李渊说：“你怎能说出这种话来？你这叫犯上作乱、大逆不道。如果这些话被别人听到，你的性命就难保了。以后再也不许说这种话了，知道吗？”
李世民又说：“现在各地都闹起义，官军的力量分散，很容易对付。”李世民的话彻底打消了李渊的疑虑。他终于决定要起兵反隋，李世民又把他的朋友刘文静推荐给李渊。
此后，李渊派刘文静去招兵买马，又把在河东打仗的长子李建成、四儿子李元吉召回。
李世民看到父亲的态度非常坚硬，便只能离开了。可是，他并没有因此而放弃劝说父亲起兵反隋。第二天，他又对李渊说：“您被皇上封为太原留守，负责镇守太原。可是，现在突厥不断地来騷扰，农民起义军又人多势众，您根本就无法保证太原的安全。如果朝廷追究下来，您的处境就会非常危险。而且，就算您保证了太原的安全，立下大功，但是皇上的猜忌心非常重，您的处境可能会更加危险。所以说，如果您仍然保持现状的话，那么危险就时刻伴随着您。要想彻底摆脱这种危险，我觉得您只有起兵反隋一条路可走。”
李渊，字叔德，陇西成纪（今甘肃秦安叶堡乡）人。他的父亲在北周时期做过高官，母亲是隋文帝独孤皇后的姐姐。隋炀帝登基后，李渊在楼烦（今山西静乐）和荥陽（今河南郑州）两个郡做太守。
此后，李渊正式起兵，向长安进军。西河郡是西进的第一个障碍。李世民和李建成率领大军，仅用九天就攻下了西河郡。之后，李渊设置了大将军府，自称为大将军，封李建成为陇西公、左领军大都督，封李世民为敦煌公、右领军大都督，又封刘文静和裴济为长史司马。
公元613年，隋炀帝派大军攻打辽东。李渊被派到怀远镇，负责督运运草。杨玄感趁着此时民怨沸腾，发动了起义。隋炀帝命令李渊镇守弘化郡（今甘肃庆陽），防御杨玄感向那里进攻。杨玄感兵败之后，李渊仍然留在弘化当太守。在此期间，李渊做出很多对有益于百姓的事情，也结交了很多英雄豪杰。
禁军将士们回答说：“你这个暴君，天下人皆对你恨之入骨，希望把你千刀万剐，我们要杀你，还需要别人带头吗？”宇文化及命人将隋炀帝勒死，立杨浩为帝，自封为大丞相。李渊听说这件事后非常高兴，因为隋炀帝一死，他就可以名正言顺地做皇帝了。
除掉内患之后，如何对付突厥兵就成为了摆在李渊面前的难题。他命令刘文静等人在城墙坚守，而城墙上却不树立旗帜，而且城门也打开着，禁止士兵大声喧哗、四处张望。突厥军队不明所以，不敢贸然闯入城中。李渊又派手下将领带着一队人马夜里出城，早晨从另外一条路入城，制造出有援兵到达的假象，来蒙蔽突厥。这个计策效果显著，突厥军队真的以为那是援军，所以就退兵了。虽然解了突厥之围，但是谁也无法保证突厥不会再来。为了彻底解决问题，解决起兵反隋的后顾之忧，李渊用臣下的口气，给突厥可汗写了一封信。他在信中说：“如果能够不来侵扰太原的百姓，我愿意把征伐来的财富，全部送给可汗。”
王威和高君雅是太守的副留守，他们对隋炀帝忠心耿耿，看到李渊的行动后，便开始怀疑李渊密谋造反。李渊知道这两个人不能久留，因为他们一定会把自己造反的事情报告给隋炀帝。于是，他便下定决心，一定要除掉王、高二人。
李渊觉得李世民的话很有道理，但他又无法下定起兵反隋的决心。他担心一旦失败，必定会被满门抄斩。
国家的安危，自身的处境，使得李渊心烦意乱。李渊的次子李世民是一个非常有胆识的人。他看到父亲整天愁眉不展，便对父亲说：“隋炀帝荒婬无道，惹得天怒人怨，如今全国各地都爆发了农民起义，想要推翻他的残暴统治。父亲虽然是隋朝的大臣，但是皇帝昏庸无道，父亲又何必非要为他卖命呢？依我之见，不如起兵反隋，与天下英雄一起推翻隋朝。”
李渊大军一路势如破竹，很快就攻入长安城中。占领长安城后，李渊宣布了十二条约法，受到城中百姓的热烈欢迎。李渊看到称帝的时机尚未成熟，就拥立隋炀帝的孙子杨侑为帝，改元义宁，并把处于江都的隋炀帝尊为太上皇。李渊自封为大丞相、唐王，掌握着所有军政大权。
