面对着如此混乱的局面，杨坚并没有退缩。他制定了“存要去闲，并小为大”的原则，开始大规模地整顿地方官制。
首先，杨坚取消了郡制，将前朝沿用已久的州、郡、县三级制度改变为州、县二级制度，县直接归州管辖。后来，杨坚又把州改为郡，形成郡、县二级制度。
公元581年，杨坚接受北周静帝的禅让，登基为帝，定国号为大隋，改元开皇。杨坚就是隋文帝。
其次，杨坚又创制了很多制度来防止地方官员势力过大，贪赃枉法等问题出现。比如规定地方官员的任期为三年，三年之后必须离任；规定官员要“异地为官”，不能在自己家乡所在的州县做官；禁止官员在地方两次担任相同的职务，等等。
此后，杨坚又在政治、经济等方面进行了一系列的改变，使得隋朝的国力不断提升。
第三，将汉代以来形成的地方官员自主选择用手下的制度废除。在隋朝之前，地方官员有自主设置官吏的权利，如此一来，那些地方官员很容易形成主仆关系，地方割据势力便会出现，不利于朝廷的统治。杨坚将这一制度废除，并让吏部掌管地方官员任命和考核的权力，各级地方官员便只能听命于中央了。
隋朝建立后，杨坚就发现，地方官制存在着编制混乱，官员队伍臃肿的弊端。当时有些地方的居民只有几百户，竟然归两个郡管辖；有些地方不足百里，却设置了好几个县；有些县竟然只有三四户百姓。很多年轻人进入官场之后，面对着名目繁多的行政区划和官职名称，竟然不知所措，往往需要花费很长时间才能够熟悉。
第四，杨坚还规定地方的太守或者副手每年年底都要进京述职，从而加强了对地方官员的控制。
杨坚接到消息后，立即调兵遣将，抵御突厥骑兵的騷扰。但是，隋军与突厥骑兵交战多次，胜少负多。杨坚正打算要吞并陈朝，如果不能彻底地征服突厥，那么他吞并陈朝的大计必然受到影响。
就在杨坚为此烦恼的时候，北周将领长孙晟出现了。长孙晟曾送过北周的公主去突厥和亲，在突厥人的领地里生活过一年。在这一年的时间里，他结识了很多突厥贵族，突厥的沙钵略可汗有一个德高望众，非常有心计的弟弟，名叫处罗侯。沙钵略可汗妒贤嫉能，总是担心他的弟弟会对他造成威胁。处罗侯知道这件事后，便来找长孙晟帮忙。他希望借助隋朝的力量，帮助他对付他的哥哥。长孙晟见到杨坚后，提出了利用突厥各部落之间的矛盾，扶持势力小的部落，以此抵制强大部落的策略。杨坚觉得这个方法可行，便决定按照长孙晟的方法来对付突厥。
经过杨坚的努力，隋朝在建立后的二十年里，出现了天下太平，百姓安居乐业的局面。这种局面被称作“开皇盛世”。
沙钵略可汗被一步步孤立起来。他非常生气，打算率领大军教训一下隋朝。在这个时候，长孙晟却散布谣言说，臣服于突厥的铁勒部落派兵对突厥的牙帐进行了袭击。沙钵略可汗对此深信不疑，很快就率领大军返回了漠北。
就在杨坚登基后不久，突厥人便以北周兄弟之邦自居，打着为北周报仇的旗号，攻入长城，一路烧杀抢掠，无恶不作。其实，突厥人是因为漠北草原遭遇灾荒，无法生存下去才到中原来抢东西的。在隋朝建立之前，北周一直与突厥交好，每年都会向突厥纳贡。杨坚建立隋朝后，既不向突厥进贡，也没有为处于困境中的突厥提供援助，这使得突厥的沙钵略可汗非常生气，所以才命令突厥骑兵进入关内烧杀抢掠。
公元583年，杨坚看到时机已经成熟，便下达了向突厥反击的命令。隋朝数万大军兵分八路，向漠北挺进。双方主力部队在白道川（今内蒙古自治区呼和浩特西北）相遇。沙钵略可汗占据着地利优势。他认为隋军的战斗力薄弱，根本就不敢向突厥大军发动进攻。可是，隋军很快就让他为轻敌付出了代价。隋军主力向突厥的军营发动猛烈的攻击，打得突厥军队溃不成军。此后，隋军乘胜追击，将突厥各部可汗一一击败，取得了对突厥战争的重大胜利。突厥各部逐渐衰落下去，再也无法对隋朝构成威胁了。
此后，杨坚派使者前往西域，与那里的突厥达头可汗结交。为了离间突厥各部落之间的关系，杨坚还故意赏赐给达头可汗狼头纛和其他财物。沙钵略可汗知道这件事后，果真对达头可汗产生了猜疑。杨坚还派长孙晟携带着大量金银珠宝，去结交契丹、奚等部落。长孙晟还去与处罗侯见面，挑拨他与沙钵略可汗的关系，希望他能够与隋朝站在一边。
除了改革地方官制，杨坚还在中央确立了三省六部制，使得皇权得到加强。
