秦代に設置される。南北朝時代になると東魏により懐恩県（または淮恩県）と改称され淮陰郡の郡治とされた。その後北周により寿張県、583年（開皇3年）には淮陰県と改称されたが、大業初年に山陽県に編入された。
667年（乾封2年）、唐朝は再び淮陰県を設置、1273年（咸淳9年）には淮陰県より清河県が分置され、清河軍の軍治とされた。1283年（至元20年）、元朝により淮陰県は廃止され山陽県に編入されている。
1914年（民国3年）、中華民国政府は清河県を淮陰県と改称した。1958年には清江市と合併し淮陰市とされたが、1964年に再分離されている。2000年に市轄区に改編された。
