Frère d'Adolphe Oppenheim, Joseph Oppenheim il s'engage en 1830, lors de la révolution belge, parmi les chasseurs à cheval et se distingue lors de la bataille du Pellenberg.
Il s'associe à son frère dans la banque Oppenheim-Emden et est l'un des fondateurs de la Banque de Bruxelles. Il figure aux côtés de Jonathan-Raphaël Bischoffsheim parmi les initiateurs de la tentative ratée de créer un Crédit mobilier à Bruxelles en 1856.
Sous l'influence de Joseph, il s'intéresse aux valeurs ferroviaires et industrielles, mais également à certains emprunts municipaux français, avec la collaboration de la maison Erlanger.
Il est administrateur de la Compagnie du chemin de fer d'Anvers à Gand, de la Compagnie de chemin de fer Bruxelles-Lille-Calais, de la Compagnie centrale de construction et de matériel de chemin de fer et de la Compagnie générale pour l'éclairage et le chauffage par le gaz, ainsi que commissaire des Papeteries belges,
Naturalisé belge en 1845, il devient conseiller provincial du Brabant en 1860, élu à Bruxelles sur les listes de l'Association libérale. Profondément religieux, il démissionne de son mandat politique du fait que son parti défendait la sécularisation des cimetières.
Important donateur de la Communauté israélite de Bruxelles, favorisant notamment l'érection rue de la Régence de la grande synagogue de Bruxelles, et membre du Consistoire central israélite de Belgique à partir de 1836 et vice-président dès 1842, il en est le président de 1875 à 1884. Il est élu membre du comité central de l'Alliance israélite universelle en 1883.
Il est le beau-père de Jacques Errera.
