被称为“安徽省的第一条铁路”的是淮南铁路，起点站是淮河岸边的田家庵，终点站是芜湖裕溪口，全长214公里。20世纪20年代末期，国民政府在淮南开矿，为此就筹建淮南煤矿专用铁路，把淮南的煤炭运到长江边，加强皖北、皖中和皖南的联系，推动安徽省经济的发展。

1911年 最早的火车是马拉车

其实，淮南早有铁路。1911年从大通煤矿到田家庵淮河码头就有了轻便轨道，马拉着煤车在轨道上滑行，这就是淮南最早的“铁路线”。这就像电影《让子弹飞》的画面一样，几匹马拉着火车跑。当然，所装载的不是好“吃火锅唱着歌”的人，而是黑乎乎的煤，因此，它没有得到“安徽省的第一条铁路”的美誉。

1936年 第一条铁路耗资450万

淮南铁路建设由当时著名的土木工程学家程士范主持，程士范骑着毛驴勘察线路，餐风露宿，精心筹划，编制出每公里4万元的计划，制订分段修建、分段运营、三年建成的经济方案。路基按正规铁路设计，却铺上窄轨距的轻轨和枕木，这样既降低了造价，又为日后的改造留下余地。1933年冬季开始勘测，1934年6月正式开工， 1935年12月12日竣工，1936年1月通车，耗资450万元。该铁路造价低，建设速度快，在当时世界上都是少有的。因为有津浦铁路在先，按当时路权惯例，已修好的铁路线附近200公里内不得再建平行铁路。因此，程士范把原定的“通江铁路”改称“淮南煤矿铁路”，巧妙地解决了侵权问题。

1937年 为抗战遭到破坏

1937年日军入侵，为配合国民政府的战略需要，该路奉令被破坏。

1938年7月，淮南铁路沦入日军之手，路矿被日军恢复使用。1941年日军又把水家湖至裕溪口一段轨道拆除，其材料移建为水家湖至蚌埠支线，和津浦路接轨。1945年8月，日本投降，蚌支线遭其大肆破坏，桥梁轨枕荡然无存，车站等建筑全被焚毁，只有田家庵至水家湖之间二十七公里的线路完好无损。同年10月，接收委员会在吴竞清和胡卫中等的率领下进行接收工作。当时除了二十七公里的线路外，还有6台机车、10辆客车、253辆货车可以勉强使用。11月接收完毕，淮南铁路局成立，吴竞清任局长，胡卫中、宁树藩为副局长，修复工作摆在了他们的面前。

水家湖至蚌埠一段长约61公里，在华中铁道管理委员会的协助之下，它的修复工作1946年春开始，同年5月下旬完工，6月1日正式通车。由于当时时间仓促等原因，修复得不够理想，仅能维持通车，每遇洪水就会发生事故，不能充分使用。

1949年 铁路迎来历史新篇章

1949年1月，淮南、蚌埠两地相继解放，淮南铁路从此迎来了历史的新篇章。1949年11月，铁道部下令撤销淮南铁路局，把它并入蚌埠铁路分局。上世纪八十年代以后，在中取华东、开辟第二通道的战略部署下，阜阳至淮南新线1986年底建成通车。1992年阜淮线复线、淮南线复线修建，单线变双线，运输能力提高了一倍。1995年阜淮、淮南两条干线在淮南境内的线路全部更换为每米60公斤的重型钢轨。

当前，淮南线电气化改造正在进行，电气化改造完成后，淮南线就能满足电力机车和动车组的运营要求，使皖北地区和皖江城市带、长三角经济圈连接起来，也和京沪铁路、宁西铁路、合九铁路、沪汉蓉铁路以及合宁、合武、合蚌、合福等铁路线相衔接，形成安徽和东南沿海地区紧密联系的铁路运输网。