張横は江州・小弧山の生まれ。弟・張順とともに江州・尋陽江に流れ着き、追剥船頭をしていたが弟が堅気になると他所へ移り、それ以降は一人で稼業に精を出していた。縄張りを接する穆弘たちとトラブルを起こし、殺されかかっていた流罪人と護送役人二人を追い剥ごうとするが、通りかかった李俊に流罪人が天下の義人宋江であると聞かされ、慌てて詫び、これを許した宋江に弟への手紙を届けて貰った。その後、江州で宋江が謀叛の罪をでっち上げられ処刑されると張順から知らされた張横たちは、李俊や穆弘ともに宋江救出のため、近隣の漁師、船頭、穆家の若衆らを引き連れて長江を下り、江州へ向かった。江州につくとすでに晁蓋ら梁山泊の一団の手により、宋江は救出されており、張横たちは一行を舟に乗せて逃がしそのまま合流、梁山泊入りを果たした。
梁山泊加入後は水軍頭領の一人として、主だった梁山泊の戦いには殆ど参加。とくに呼延灼ら官軍の討伐軍を迎え撃った際は他の水軍頭領とともに勝利に大きく寄与した。ただ、個人での手柄がなかなか上げられない事に焦りを感じ、張順の制止を無視して敵将関勝の陣に抜け駆けの夜襲を仕掛け返り討ちに遭い捕虜となる失敗も犯した。
百八星集結後はあらためて水軍頭領に任命され張順と二人で西の水塞を守備、朝廷への帰順方針には他の水軍頭領とともに強硬に反対、官軍との戦いで捕らえた敵将を独断で処刑するなど反抗的態度を露にした。しかしいざ朝廷への帰順が決まると渋々ながらこれを受け入れ、その後の戦いでも水上戦や糧秣輸送などで活躍した。しかし完全に朝廷に服属したわけではなく、弟や他の水軍頭領ともども宋江に不満をぶちまけるなど最後まで朝廷への不信感を露にしていた。
方臘討伐戦では阮小七らとともに別働隊を率いて杭州の海路の封鎖作戦に加わったが、この時張横は突如、意識を失い宋江の前で目を覚ましたときには手に敵将・方天定の首を引っさげていた。わけがわからないでいると宋江が事情を話し始める。実はその日の未明、水路から杭州城を落とそうとした張順が方臘軍の手にかかって討ち死にしており、その張順の魂が張横の身体に乗り移って宋江の本隊に杭州城を落とされ方天定の首を取り、宋江に別れを告げたのだという（近年の翻案では張横自身が張順の仇を討つという筋に改変される場合も多い）。最愛の弟の死を知った張横は悲しみのあまり再び失神してしまい、その時は息を吹き返したものの、すっかり気が滅入ってしまったのか杭州城に進駐した際、軍中に流行した疫病に罹患、養生のためその場に残留するもそのまま快方に向かうことなく弟の後を追うように息を引き取った。
