隋朝的政治和军事中心位于关中地区，在平定南朝陈期间，为了运兵南下，开始修建运河。平定南朝陈后，隋廷为了将江南(会稽郡)的粮食和纺织品运送到中原地区，又陆续开凿了数条运河，并且在两岸筑御道，种植柳树护岸。所开的运河大部分是利用自然河道，或是疏濬前代业已干枯的旧沟，只有一小部分才是真正以人力开凿的。最终形成以东都洛阳为中心，首尾相连的几条运河。

584年隋文帝为了将关东资源便利的运至关中，引渭水自长安开通到潼关的广通渠，但砥柱仍阻碍关东漕运。587年为了兴兵伐南朝陈，循春秋时期吴王夫差的邗沟兴建山阳渎，自山阳(今江苏淮安县)至扬子(今江苏仪征县)入长江江都(今江苏扬州)。隋炀帝时大规模发展运河，605年开通通济渠(又称汴渠)。西段自今洛阳西郊引谷水、洛水入黄河。东段自荥阳汜水镇东北开始，循夫差所开运河故道，引黄河经汴水、泗水达淮河，经过汴州(今河南开封)、宋州(今河南商丘)、宿州(今安徽宿州)、泗州(今安徽泗县)等城市。同年又发淮南民十余万人再度修筑山阳渎，整治取直，中间不再绕道射阳湖以直达长江。为了连结富肴的江南，610年开筑江南运河，自京口(江苏镇江市)引长江经吴州(江苏苏州市)至余杭(浙江杭州市)的钱塘江。长八百余里，广十余丈。至此完成运河南段，隋炀帝还准备渡浙江，临东南经济中心会稽(绍兴)，游会稽山。由于北伐高句丽需要运输庞大物资，608年发河北诸郡民夫百余万人开开通永济渠，引黄河支流沁水南至黄河，北接卫河直达涿州(今北京市)，完成运河北段。涿州便成为东征高句丽的人员与物资的集中地。

由广通渠，永济渠、通济渠、山阳渎和江南运河组成的隋唐大运河长达2700余公里。611年隋炀帝乘龙舟自江都直达涿州。普通民船一昼夜走一百里，自江都到涿州不过一个多月，南北水路交通比陆路确是便利得多。洛阳位居运河中心，西接长安，南通杭州，北通涿州，成为天下货物集散地;运河沿岸也如雨后春笋般的发展出数座商业城市。隋唐大运河为经济发展起到很大的促进作用，建成后六百余年时间之内成为沟通南北双方的重要政治，经济和文化的纽带，促进各个地区的文化发展与民族融合，有人认为这使得中华文明成为有机体的整体文明。