永禄13年(1570年)、甲斐国の武田氏により築城された。
巴川を背後に控えた微高地上に立地し、本丸を中心に三方を囲う輪郭式城郭の平城である。永禄11年（1568年）の武田氏の駿河侵攻により顕在化した三河徳川氏との前線に位置する城であったほか、折戸湾の西に位置するため武田水軍や水運とも関係のある城であると考えられている。
近世の絵図によれば、甲州流築城術の特徴のひとつである丸馬出しが3箇所設けられ、また堀も巴川の水が引き入れられた水堀であった様である。東西400m・南北260m程の近世城郭にも匹敵する規模を持つ。
永禄11年（1568年）末、武田氏による今川領国への侵攻（駿河侵攻）が開始される。『甲陽軍鑑』品34に拠れば、築城は同時期で、武田家臣・馬場信春（美濃守）による縄張りが行われたという。武田氏の駿河経営の拠点となり、当初の城代は山県昌景。武田氏の駿河侵攻においては当初、徳川氏と同盟を結んでおり、山県は徳川氏との取次を務めている。山県は永禄12年（1569年）12月6日に攻略した駿河蒲原城（静岡市清水区）に入城しており、後に江尻城へ入城する。山県は江尻城において奥三河の山家三方衆をはじめ、遠江・三河における軍事を統轄した。『軍鑑』品36に拠れば、永禄13年（1570年）にも駿河先方衆による普請が続けられている。山県は信玄晩年の「西上作戦」にも参加し、天正3年（1575年）5月21日の長篠の戦いにおいて戦死した。
山県の死後、天正3年5月頃までに江尻城代は甲斐河内領主である穴山信君が務める。『甲陽軍鑑』品36によれば、信君は駿河侵攻においては横山城普請を務めたという（「永禄12年4月19日付穴山信君宛武田信玄掟書」）。天正7年からは信君の子息である勝千代の発給文書が見られ、同年末に信君は出家し「梅雪斎不白」を称していることから、信君はこの時期に勝千代に家督を譲っていたと考えられている。
信君は江尻城に家臣を配置し、城の改修を行った。信君は織田・徳川氏に内通し、天正10年（1582年）2月の織田・徳川連合軍の武田領侵攻に際しては城を開城し、降伏している。武田氏滅亡後は徳川氏の勢力下になり、徳川氏の庇護を受けた穴山勝千代（信治）が城代となるが、勝千代の夭折により慶長6年(1601年)に廃城になった。
現在は市街地化により、当時の姿を偲ばせるものは無いが、本丸跡は清水江尻小学校の敷地となっている。周囲には、大手町、二の丸町などの地名が残っている。
廃城になった際、江尻城の裏門が清水区入江にある臨済宗妙心寺派の東明禅院に山門として移築されている。
