公元587年，隋为兴兵伐陈，统一中国，从今淮安至扬州，开山阳渎。后又采取中间不再绕道射阳湖的取直整治。而大运河的形成阶段，也是最重要的阶段，是隋炀帝时期开凿的大运河。
隋炀帝杨广即位后，为巩固国家统一，更好的控制江南地区，使长江三角洲地区丰富的物资为中央政府掌握，更由于隋中央政府对江淮经济的依赖，隋炀帝下令开凿大运河。
公元604年，隋炀帝杨广离开京都长安，到洛阳考察。605年隋炀帝力排众议，下令着手两项重大工程：一是将首都由长安迁往洛阳；二是征调民工百万，由杰出工程专家宇文恺主持，开凿大运河。主要是开通通济渠和永济渠。
工程上马后，由200多万民工开挖通济渠，连接黄河淮河，同年又用十万民工疏通古邗沟，连接淮河长江，构成下半段。三年后，用河北民工百万余，开挖永济渠，到北京南，构成上半段。又过两年，重开江南运河，直抵余杭（杭州）。至此，共用五百余万民工，费时六年，大运河全线贯通，全长2700公里，成为世界上最浩大的工程之一。
通济渠公元605年开凿。分东西两段：西段自今洛阳西郊引洛河和谷水入黄河；东段自荥阳汜水，引黄河后，循汴水（原淮河支流），经商丘、宿县、泗县入淮河。
永济渠公元608年开凿。利用沁河、淇水、卫河水源，引水通航至天津，继溯永定河通涿郡（今北京）。
610年，继开江南运河，先后开通扬州、镇江至杭州段，长400公里。这样，从首都洛阳到江都、到浙江杭州全长1700公里的河道，可以直通船舶，畅行无阻。
以京都洛阳为中心隋朝的运河，东北抵涿郡，东南至余杭，沟通了海河、黄河、淮河、长江、钱塘江五大水系，并把京师、东都、涿郡（幽州）、浚仪（汴州）、梁郡（宁州）、山阳（楚州）、江都（扬州）、吴郡（苏州）、余杭（杭州）等通都大邑联缀在一起，从而加强了各地区间的联系。当时运河上“商船旅往返，船乘不绝”，它对隋唐时期南北经济、文化交流，维护全国统一和中央集权制，都起了促进作用。
这条运河运营了五百多年，历经唐朝、五代、宋朝，到南宋末年，因部分河道淤塞而衰落。
期间，唐时对运河作过一些修整。如公元742年在三门峡以东，人们在岩石中曾开凿一条渠道，为“天宝河”。到了武则天大足元年（公元701年），在洛阳立德坊南营建新潭：“天下舟船所集，常万余艘，填河路，商旅贸易，车马填塞。”那时，“半天下之财赋，悉由此路而进，”在洛河上是“漕船往来，千里不绝”。
由于大运河的通航，促进了中国南北经济的沟通和交流，促进了沿岸经济的繁荣和城市的兴起，运河沿岸逐渐形成了名城苏州和杭州，造船工业基地镇江和无锡，对外贸易港口江都等重要城市。
隋炀帝开凿大运河，这是古代一个国家综合国力强大的象征，统一的象征。这条黄金水道在巩固国家统一、繁荣沿岸经济、促进南北交流和沿岸城市兴起与发展等方面立下了不朽功勋。如今在洛河沿线留下的丰富遗存，见证着昔日的繁荣和历史的荣光。