Después de concluida su presidencia, el doctor Robles, que había acumulado una gran fortuna, permaneció en Panamá. En 1545, juntamente con sus capitanes Juan de Guzmán y Juan de Illanes, se enfrentó Pedro de Hinojosa, capitán general de Gonzalo Pizarro, junto con Juan Alonso Palomino, Pablo Meneses, sus capitanes, y otros consortes y aliados en la tiranía y alzamiento en Panamá contra la Corona. Los alzados dieron garrote a doña María Calderón, hermana del doctor Robles, mujer del capitán Jerónimo de Villegas, y a Cosme de Robles, hijo de otra hermana suya, le mataron y le derribaron once pares de casas en Panamá, le ocuparon sus casas de cantería y se comieron sus vacas y terneras, gallinas y maíz, manteniendo con ello a sus soldados y tomando para sus servicio sus esclavos y caballos. El doctor Robles, al saber que Pedro de Hinojosa venía a destruirle, embarcó en un galeón treinta y tantos caballos y yeguas, doce esclavos y los muebles y cosas principales de su casa y los mandó a Popayán; pero llegado el galeón al Puerto de la Buena Ventura, Hinojosa con su armada echó la gente tierra adentro, alborotó a los indios de paz, llevó las bestias y mercaderías a los pueblos por el río y tardaron más de dos meses en volver al puerto dentro de los cuales se murieron todos los caballos, yeguas y negros y se pudrieron y perdieron las demás cosas por la falta de salud y enfermedades que hubo en el puerto; todo ello con grandes pérdidas para la hacienda del doctor Robles.
Posteriormente el doctor Robles regresó a Baza, donde en 1550 dispuso establecer una vinculación de bienes para que se mantuviera el apellido Robles. En 1551 confirió un poder a Sebastián Rodríguez para pedir que Hinojosa, Meneses y Palomino lo indemnizara por los daños que le habían causado en Panamá en 1545.
