治承・寿永の乱で平氏を滅ぼした源義経は、平氏滅亡後に兄頼朝と対立し、文治元年（1185年）10月17日の頼朝配下の土佐坊昌俊による義経襲撃事件を受けて対立は決定的となった。義経は後白河法皇から、一旦は頼朝追討宣旨を受けるものの、畿内の武士の多くは頼朝方についたため挙兵に失敗した。
義経は九州へ落ち延びるため同盟者の平時実、一条能成、源有綱、郎党の堀景光、佐藤忠信、伊勢義盛、片岡弘経、弁慶法師ら200騎（または300騎）を率いて叔父源行家、豊後国の豪族・緒方惟栄らとともに都を退去する。
『玉葉』文治元年（1185年）10月30日条によると、義経・行家の西国下向が翌朝に決まったが、摂津国の武士太田頼基が城郭を構え、義経らの行く手を妨害する姿勢を示し、船の手配のために義経に派遣された郎従の紀伊権守兼資を殺害したため、義経らが北陸へ向かうという噂が流れた。『吾妻鏡』11月2日条によると、義経が乗船の手配に派遣した家人で越前国の武士斉藤友実が、途中で義経の元家人であった児玉党の武士庄高家に行き会い、ありのままを話した所、友実は高家のだまし討ちにあって殺害されたという。
11月3日早朝に都を出立した義経の一行は、4日に河尻（神崎川河口）で太田頼基の軍勢に襲撃を受け、これを打ち破った（『玉葉』11月4日条）。また『吾妻鏡』11月5日条によると、義経の一行は河尻で多田行綱、豊島冠者らが前途を遮って矢を射かけて来た所を、懸け破って撃退したが、それによって義経一行の多くは脱落し、残った手勢は幾ばくもなかったという。また『玉葉』11月8日条によると、追手には手島冠者や藤原範季の子で源範頼と親しかった範資が範頼から軍勢を借りて加わっており、あらゆる勢力が義経の追撃に加わっていた。
5日夜に大物浦から出航した義経の一行は暴風雨に遭って一艘も残らず難破し、九州行きは頓挫し一行は離散する。豊後の武士達は範資に投降、または捕縛され、義経の一行に加わっていた平時実も捕縛されており、記録にはないが義経の異父弟一条能成もここで捕らえられたと見られる。
『平家物語』「判官都落」によると、義経が都から連れてきていた女房たち十余人が住吉浦（大阪市南部、住吉区の海岸）の浜辺に置き去りにされて砂浜や松の木の下で泣き伏しているのを、哀れんだ住吉神社の神官たちが都へ送り届けたという。
義経は有綱、景光、弁慶、妾の静御前らわずかな郎党とともに吉野山へ逃げ込み、その後1年あまり京の周辺に潜伏した（構成員は『吾妻鏡』による）。