Le père et le grand-père maternel de Rudio étaient tous deux fonctionnaires du duché indépendant de Nassau, annexé par la Prusse lorsque Rudio avait 10 ans. Il fait ses études au gymnase local de Wiesbaden, de 1866 à 1870, puis de 1870 à 1874, au Realgymnasium de Wiesbaden[2]. Il fait des études de génie civil, de mathématiques et de physique à l'École polytechnique fédérale de Zurich (Eidgenössische Polytechnikum Zürich) de 1874 à 1877[2]. Il poursuit ses études à l'université de Berlin de 1877 à 1880, où il obtient son doctorat sous la direction d'Ernst Kummer et de Karl Weierstrass. Il retourne à l'EPF de Zurich, où il obtient son habilitation en 1881. Il est nommé privatdozent, puis professeur extraordinaire en 1885 et professeur titulaire en 1889[2].
Rudio est l'un des organisateurs du premier Congrès international des mathématiciens (ICM) en 1897. Il est secrétaire général du congrès et rédacteur en chef des actes du congrès[3]. Il est rédacteur en chef du journal trimestriel de la Société des sciences naturelles de Zürich de 1893 à 1912, et président de la société.
En 1919, l'Université de Zurich lui décerne un doctorat honoris causa. En 1928, il prend sa retraite académique pour des raisons de santé et il meurt en 1929[2].
