Rubin comenzó a tocar la batería a la edad de 8 años, cuando descubrió el set de batería Ludwig Sparkle Silver del 68' de su padre en el garaje de su casa. Luego de tres meses de "jugar" con el set, aprendió a tocar por sí mismo y ya improvisaba con sus hermanos mayores. A la edad de 9 años estaba listo para tocar con F.o.N., una banda con la que eventualmente realizaría tres presentaciones en el Vans Warped Tour, donde, además de tocar con su banda, Ilan se enlistaría en la batería con bandas como NOFX. En 1999, F.o.N. abrió Woodstock en el "Emerging Artist Stage" y, como resultado, a los 11 años de edad, Ilan logró entrar en el Libro Guinness de los Récords como el músico más joven en tocar en un escenario de Woodstock. Todavía a la edad de 11 años, presentó un video a la revista Modern Drummer de él haciendo un solo durante un toque con FoN, que fue elegido por la revista como la obra ganadora en su concurso "Best Undiscovered Drummer Under the Age of 18" . El ganador de la categoría de 18 años o más vino de Argentina, y los dos bateristas fueron invitados a participar en el Modern Drummer Festival del año 2000; para entonces Ilan había cumplido 12. Ilan ha tomado clases de batería con Travis Barker de Blink-182 y Uosikkinen David, el baterista de la famosa banda de los '80 The Hooters. Es también un consumado guitarrista y pianista de música clásica.
También fue batería de otros grupos, como Fenix Tx.
Ya de adulto es reconocido como uno de los bateristas más virtuosos y versátiles de su país, habiendo tocado con famosas bandas como Lostprophets, Nine Inch Nails, Angels & Airwaves y Paramore, además de desarrollar una carrera como solista.
El 15 de noviembre de 2008, Trent Reznor anunció mediante el sitio web de Nine Inch Nails, que Rubin estaría uniéndose como baterista oficial, luego de la salida de Josh Freese. El rol en vivo de Rubin, ha llegado a incluir en su itinerario tocar el piano, sintetizadores, bajo, guitarra y chelo. Además, como instrumentalista en vivo, Rubin es por ahora el baterista que ha tocado más tiempo en la banda.
En julio de 2025, fue anunciado que Rubin dejaría la banda tras casi dos décadas, luego de decidir sumarse de manera firme a Foo Fighters, nuevamente reemplazando a Freese. En cambio, Freese retornó a Nine Inch Nails.
En 2011, Rubin se unió a Angels & Airwaves, reemplazando al baterista Atom Willard. Desde 2014 a la actualidad, Rubin ha sido el único otro escritor en la banda además de su fundador, Tom DeLonge.
Durante ese tiempo, grabó el álbum "The Dream Walker" y los EPs "...Of Nightmares" en 2015 y "Chasing Shadows" en 2016.
Más allá de su labor en las percusiones, Rubin ha tomado el rol tocando múltiples instrumentos en la banda en tiempos de grabación y ha continuado así en el álbum de 2021, "Lifeforms".
En esos tiempos, DeLonge empezaría a dar más crédito y a reconocer a Rubin como uno de los mayores partes contributivas en el proceso creativo.
El 28 de junio de 2012, Paramore confirmó que Rubin sería el baterista de grabación en su cuarto álbum, aunque no estaría uniéndose como miembro estable.
Posteriormente a grabar todas las baterías del álbum, se sumaría a tocar en vivo en el tour presentación del material.
El álbum se convirtió en platino y la canción "Ain't It Fun" ganó un Grammy por Mejor Canción de Rock.
El 30 de julio, fue reportado que Rubin se sumaría a las presentaciones en vivo con Foo Fighters, siguiendo el despido de Josh Freese semanas antes.
