Militó en el Movimiento Revolucionario Liberal (MRL) liderado en esa época por Alfonso López Michelsen. Luego pasaría a engrosar las filas del Partido Comunista (PC) y paso a formar en 1964 el Partido Comunista de Colombia Marxista Leninista (PCC-ML).
Fundó en 1967 el EPL con Libardo Mora Toro, Pedro Vásquez Rendón, Pedro León Arboleda, Bernardo Ferreira Grandet, Jesús María Alzate, Diego Ruiz, Julio Guerra, Luis Manco David y Carlos Aníbal Cácua, contribuyó en la conformación de este grupo guerrillero.[2]
Sucedió en 1974 a Pedro León Arboleda, como primer secretario del PCC-ML y a Ernesto Rojas, como comandante general de la organización en 1987.[3]
Participó en la creación de la Coordinadora Guerrillera Simón Bolívar.
Asumió como comandante del grupo disidente del EPL, tras la desmovilización del 95% del grupo, en el que Caraballo técnicamente se desmovilizó pero continuó en armas con algo más de 100 guerrilleros, acusando a los desmovilizados de entrar en una "posición entreguista".[4]
Después de rehusarse a los diálogos de paz con el gobierno colombiano y a la desmovilización y entrega de armas en 1991, organizó y comandó una facción disidente del EPL hasta su captura por parte de las autoridades colombianas en 1994.
Caraballo fue negociador de la disidencia EPL durante los Diálogos de paz de Tlaxcala, en México, que se dio entre la administración del presidente César Gaviria y las guerrillas de las FARC-EP, ELN y EPL. Las negociaciones llegaron a su fin cuando el EPL secuestró al exministro Argelino Durán Quintero durante las diálogos de paz en Tlaxcala. Durante el cautiverio, Durán sufrió un ataque cardiaco y murió. Tras hacerse pública la muerte del exministro, el episodio desembocó en la ruptura de las conversaciones de paz el 4 de mayo de 1992.[5][6][7]
En 1994 fue capturado en una finca en Cajicá (Cundinamarca) con su esposa e hijo por la XIII Brigada del Ejército Nacional de Colombia.[8] Durante su arresto, Caraballo mencionó que "Soy un rebelde consciente, revolucionario consecuente y comunista convencido", justificando su negativa al desarme.[9]
Caraballo fue condenado a 38 años de prisión por rebelión, secuestro y terrorismo. Fue también condenado a 29 años por el secuestro de Beatriz Elena Turbay y del mayor del Ejército Nacional Luis Demetrio Yepes, en 1992 y 1994, en Santander.[10]
El 18 de abril de 2008 logró salir de la cárcel con libertad condicional tras haber cumplido 14 años de su condena y fue alojado en la "casa de paz" de Medellín.[10][11] A pesar de haber escindido del EPL, algunos sectores del PCdeC-ML siguió viendo como un ejemplo de lucha la trayectoria de Caraballo.[12]
