Comenzó jugando desde muy joven, a principios de los años 40, en el equipo de su pueblo en competiciones de aficionados, a las órdenes de su compañero y dirigidor del equipo Santiago Vozmediano. Perteneció en el CP Villarrobledo hasta la segunda mitad de los años 40,cuando comenzó su carrera como profesional pasando por los equipos de Albacete Balompié y Club Deportivo Badajoz, siendo un destacado jugador de estos equipos. En los años 50, regresa al CP Villarrobledo donde termina su carrera como futbolista. En 1956 pasa de ser jugador de campo a ser entrenador de este equipo.
Sus inicios como entrenador en el CP Villarrobledo no pudieron ser más prometedores, en su primera temporada, 1956/57, el conjunto entrenado por Abilio logró la consecución de diversos torneos de fútbol aficionado, animándo así a club y afición a la inscripción en competiciones oficiales, las cuales las iniciaría de la mano de Abilio en la siguiente temporada en categoría regional. A Abilio Rubio le bastó tan solo esa temporada, 1957/58, para ascender al equipo a la categoría de bronce del fútbol español.
En 1958 continúa entrenando al equipo que en tan solo 2 años hizo pasar de fútbol aficionado a estar asentado en 3ª División, con el que se convertirá en el entrenador más laureado de la historia de este club hasta la fecha, siendo el máximo responsable deportivo del CP Villarrobledo en su época dorada.
Las tres temporadas siguientes al ascenso a 3ª División vienes marcadas por magníficas clasificaciones del equipo de Abilio que logró un tercer puesto (1959/60) y dos subcampeonatos (1958/59 y 1960/61), consumando el ascenso a 2ª División este último año.
En la temporada 1961/62, el CP Villarrobledo, a las órdenes de Abilio, no consigue mantener la categoría y el técnico deja de entrenar al equipo manchego.
En segunda mitad de los años 60 retornó a otra de las que fueron sus casas como jugador, pero esta vez de entrenador, el Club Deportivo Badajoz de 3ª División, con el que consiguió el ascenso a 2ª División en su primer año como técnico, en la temporada 1966/67, conformando un equipo sólido capaz de mantenerse en la división de plata del fútbol español pese a su prematuro descenso por la reestructuración de la categoría ese mismo año del ascenso.
En 1970, tras los exitosos ascensos cosechados en los últimos años, es fichado por un decadente Albacete Balompié recién descendido a categorías regionales con la obligación de ascender lo antes posible a 3ª División, logrando Abilio Rubio su ascenso esa misma temporada de 1970/71.
En la temporada siguiente, 1971/72, repite por segundo año consecutivo un ascenso a 3ª División, en esta ocasión con el Hellín Deportivo.
Tras dejar el Hellín Deportivo al término de la temporada 1972/73, entrenará equipos de tercera y segunda división B, entre los que cabe destacar, su vuelta en dos ocasiones más al Albacete Balompié y su etapa como entrenador del Alicante CF a principio de los años 80.
