Le bâtiment actuel est l’œuvre de la famille Horowitz. En 1535, Aaron Meshullam Horowitz la construisit entre sa maison « U Erbů » et le site de l’ancien cimetière juif.
Après la Seconde Guerre mondiale, la synagogue fut transformée en Mémorial des Juifs de Bohême-Moravie assassinés par les Nazis. Les murs sont recouverts des noms des victimes tchécoslovaques de la Shoah, de leurs dates personnelles et du nom de la communauté à laquelle ils appartenaient. En 1968, cependant, la Mémorial dut être fermé parce que la nappe phréatique avait pénétré dans les fondations du bâtiment, fragilisant la structure. Lors des travaux d’imperméabilisation souterraine du bâtiment, des espaces voûtés ainsi qu’un ancien puits et un bain rituel ont été découverts.
Le régime communiste entrava délibérément les travaux de rénovation et les inscriptions furent effacées. Ce n’est qu’en 1990 qu’il fut possible de terminer les travaux de réfection du bâtiment. Finalement, en 1992-1994, les 80 000 noms des victimes juives de Bohême et de Moravie furent enfin réécrits sur les murs.
Dans le vestibule se trouve une plaque commémorative en souvenir d'Horowitz et de son épouse.
