Tras un concurso arquitectónico internacional, el edificio fue encargado a los arquitectos Josef Zítek y Josef Schulz, quienes ya habían construido en Praga el Teatro Nacional (1881).
El Rudolfinum fue inaugurado el 8 de febrero de 1885 como un complejo cultural con una sala de exposiciones y otra de conciertos. Fue un regalo de la caja de ahorros Česká spořitelna a la ciudad de Praga y a la nación checa con ocasión del cincuenta aniversario de la fundación de dicha institución bancaria. Recibió su nombre en honor del príncipe heredero del Imperio austrohúngaro, el archiduque Rodolfo de Habsburgo.
En el período de entreguerras, el Rudolfinum sirvió al Parlamento checoslovaco (Sněmovna) como salón de plenos.
El edificio fue restaurado entre 1990 y 1992.
