大业四年(公元608年)，“诏发河北诸郡男女百余万，开永济渠，引沁水南达于河，北通涿郡。”(《隋书·炀帝纪上》)当初曹操发展河北水运时，白沟的渠首工程是“遏淇水入白沟”。隋炀帝的新渠与曹操旧渠相比，有两个重大改进。一是沁水源远流长，淇水无法与之相比，因此，新渠的水源远比旧渠丰沛。这是新渠航道远比旧渠通畅的基本因素。二是旧渠在白沟、黄河之间筑有枋堰，由沟入河或由河入沟，舟船都必须盘坝或换船，这就大大降低了通航能力。新渠“引沁水南达于河，北通涿郡”，表明渠口建有分水工程，舟楫可以直接出入河渠，无须换船或盘坝，这就大大提高了通航能力。
在隋朝，今河南省东北部、山西省东南部和河北省大部，是又一个经济发达、人口众多的地区，这个区域当时有户200多万，在全国900多万户中，几乎占了1/4。隋朝推行租庸调制，按户、丁征收粟帛，征发劳力，户多丁多，上调的粟帛等也多。这就需要有一条粮帛南运进京的水道。隋炀帝着意开拓边疆，积极准备用兵辽东，他以涿郡(今北京市)作为征辽基地，要将大量的军用物资和军事人员北运，也需要有一条从东都到涿郡的军需供应线。自东汉末年，曹操穿凿河北五渠后，那里虽然形成一条纵贯南北的水道，但它以自然河道为主，深浅不一，航路不畅，难以适应隋朝经济、政治、军事的需要。于是，隋炀帝在完成通济渠和山阳渎之后，决定在黄河以北，在曹氏旧有水道的基础上，拓展一条航运能力较大的运河，这就是穿永济渠。
广通渠、通济渠、山阳渎、江南河、永济渠，虽然是五条运河，但由于它们的规格大体一致，组成了一个由长安—洛阳两都为中轴、成扇形、东南通余杭、东北到涿郡的完整的运河网，实为一条运河的五个组成部分。这个运河网把我国当时经济、政治、文化最发达的区域紧密地联在一起，对统一国家的巩固和繁荣，都有难以估量的作用。正是因为如此，隋炀帝兴建这些工程，虽然多从他本人需要出发，并给当时广大群众造成严重灾难，但后人还是给予很高的评价。唐末著名诗人皮日休便是这样认为的，在《汴河怀古》中说：
若无龙舟水殿事，与禹论功不较多。”
永济渠也可分成三段。南段起于沁水入河处，北到卫县(治所在今河南浚县西)。这是当时新凿的渠道。卫县以下经馆陶、东光等地，至今天津市境与沽河会合。这是中段，它以曹操时的故道为基础，扩展成为大渠。由今天津市到古涿郡(今北京市)为北段，系改造两条自然河道而成。一条是古潞河下游，它位于今天津市和武清县间。另一条是桑干水(今永定河)下游，当时它位于今武清县到古涿郡南郊。南、中、北三段运河共长1900里左右，大体说与通济渠相当。这也是一条历时很短、不到一年便完工的运河。它的宽度虽然不及通济渠，但运输能力很强，并且也可航行庞大的龙舟。大业七年(公元611年)，隋炀帝伐辽东，当时他就是乘龙舟到达涿郡的。伐辽东出动军队100多万人，后勤供输极大，主要就是沿这条水道北运。
“尽道隋亡为此河，至今千里赖通波。
