Fue secretario del general Manuel Antonio Matos en la Revolución Libertadora que insurge para derrocar la dictadura castrista. Ortega es capturado en 1903 tras la derrota de los insurgentes en El Guapo y luego es encacarcelado en La Rotunda. Logra escapar tres años después para mantenerse en el exilio apoyando conspiraciones contra Castro desde los Estados Unidos. Tras la caída del dictador regresa en 1909 volviendo a asumir la cartera de Obras Públicas (1909-1910) y figurando en el Consejo de Gobierno de Juan Vicente Gómez. No obstante, esto no fue excusa para que en 1913 protestara contra las maniobras reeleccionistas de Gómez y resolviera volver al destierro. En 1918, en Nueva York, fundó, junto con otros expatriados antigomecistas(enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última)., el movimiento político La Nueva Venezuela, de efímera duración.
En 1921 viaja a Alemania donde organiza con el general Francisco Linares Alcántara Estévez[1] un intento de invasión a Venezuela para derrocar la dictadura gomecista. En Kiel proceden a la contratación de mercenarios y completan la compra de dos barcos, el Odín y el Harrier.[2] La conspiración es descubierta por el agente diplomático gomecista, José Ignacio Cárdenas y los buques son apresados en Gibraltar. Los expedicionarios deben huir a México.
En 1924 en Nueva York intentó, nuevamente promover una invasión armada contra Gómez con la compra del buque Gloucester. En Miami le cambia el nombre a Angelita sin embargo el buque sufre una avería en alta mar y debe recalar en La Habana. En 1930, desde México, intentó, nuevamente y sin éxito, promover una conspiración armada contra Gómez. En definitiva, fracasados todos sus proyectos conspirativos contra Gómez, Ortega Martínez murió desterrado en Ciudad de México.
