徳川氏の江戸城入城時には、日比谷あたりは、入り江の海岸線であった（日比谷入江）。神田山切崩しや、半蔵門から桜田門にかけて桜田濠が掘られ、その土で日比谷の入り江が埋め立てられて行き、大名屋敷が造られていった。日比谷濠は、このように入江の埋め立てと江戸城整備に伴って1608年ごろまでに出来上がった。現在の日比谷交差点の位置には、日比谷御門があり、近縁に屋敷を構える大名たちは門をくぐり日比谷濠に沿い桜田門ないし馬場先門方面に向かった。
かつては外濠の山下橋付近に向かってかぎ状に濠がつながっていたが、埋め立てられている。
1906年（明治39年）に、日露戦争の戦勝を記念して外苑を縦断する形で凱旋道路が造られ、外苑南面に祝田橋（土橋）が架けられた。このことにより日比谷濠は東西に別れ、西側（桜田門側）が凱旋堀となり、東側のみが日比谷濠と呼ばれるようになった。
