Nació en una familia de clase obrera en Detroit (Michigan), en 1927. Se crio allí y en Chillicothe (Ohio). Se enroló en la Marina en 1945, pero apenas participó en acción alguna a causa del final de la Segunda Guerra Mundial. Estudió escultura en el Black Mountain College (Carolina del Norte) durante dos años. Luego se mudó al sur de California e ingresó en el Pasadena Playhouse College of the Theatre.
Era gay y amigo íntimo del dramaturgo Tennessee Williams (1911-1983), que fue su mentor. Ambos pasaron una cantidad significativa de tiempo en Key West (Florida). Como Williams, Herlihy había vivido en la ciudad de Nueva York, pero aparte de Key West el hogar principal de Herlihy estaba en el distrito de Silver Lake (Los Ángeles). Herlihy se suicidó a la edad de 66 años con una sobredosis de pastillas para dormir, en Los Ángeles.
Entre sus piezas teatrales destacan Streetlight Sonata (1950), Moon in Capricorn (1953) y, escrita en colaboración con William Noble, Blue Denim (producida en Broadway en 1958). También escribió entre 1953 y 1958 guiones radiofónicos. Dirigió a la actriz Tallulah Bankhead en una producción de su obra Crazy October, en 1959. Tres de sus obras en un acto, tituladas en conjunto Stop You're Killing Me, fueron estrenadas por la Compañía de Teatro de Boston en 1969. Según el autor Sean Egan en su biografía de James Kirkwood, Jr. Ponies & Rainbows, Herlihy coescribió la obra UTBU con Kirkwood, pero exigió que su nombre fuera retirado de los créditos.
Herlihy escribió tres novelas: All Fall Down (1960), un gran éxito de crítica sobre los conflictos de un adolescente con su familia y sus obsesiones respecto a un hermano mayor ausente, un gigoló maltratador, llevada al cine por John Frankenheimer en 1962; Midnight Cowboy (1965), también llevada al cine por John Schlesinger, y The Season of the Witch (1971). Sus cuentos fueron recopilados en The Sleep of Baby Filbertson and Other Stories (1959) y A Story That Ends in a Scream and Eight Others (1967), una colección que también incluía obras de teatro. Estos cuentos, brillantemente escritos, ligan elementos extraños y grotescos y contienen caracterizaciones magistrales y diálogos mordaces.[2]
También apareció como estrella invitada en "All The Lovely Pagliaccis", un episodio de 1962 de la serie de televisión Route 66. Actuó en la película In the French Style (1963) con Jean Seberg y en la pieza de Edward Albee The Zoo Story en 1963, tanto en Boston como en París, y en la película de 1981 Cuatro Amigos dirigida por Arthur Penn.
En 1968, Herlihy firmó el manifiesto de Protesta de escritores y editores por los impuestos de guerra contra la guerra de Vietnam y prometió no pagar impuestos que sirvieran para financiarla. Más tarde también se convirtió en patrocinador de este proyecto de objeción de conciencia fiscal como una forma de rechazo a la guerra.[3]
