Era hijo de un banquero alemán. Sus hermanos Salomón y Theodore destacaron en la arqueología y la literatura, respectivamente.
Después de estudiar derecho, se graduó como abogado en el Lycée Condorcet y fue llamado al bufete de abogados en 1887.
Joseph llamó la atención de Léon Gambetta por sus artículos sobre la política en los Balcanes publicados en la Revue bleue, y se unió al equipo de trabajo de La République Française. En el gran ministerio de Gambetta, Reinach fue su secretario y elaboró el caso para una revisión parcial de la Constitución de los Estados Unidos y por el método electoral conocido como Scrutin de Liste.
Próximo de Gambetta, colabora en el periódico La République Française, donde tomará más tarde su dirección. Libró una constante campaña contra el General Boulanger, que se tradujo en tres duelos, uno con Edmond Magnier y dos con Paul Déroulède. En Gambetta publicó tres volúmenes en 1884, y también editó sus discursos. Entre 1889 y 1898 fue diputado por Alpes de Alta Provenza.
Como miembro de la comisión del ejército, reportó los presupuestos de los Ministerios del Interior y de Agricultura, presentó proyectos de ley para el mejor tratamiento de los enfermos mentales, para la creación de un Ministerio de Colonias, en materia fiscal de bebidas alcohólicas, y en la reparación de los errores judiciales. Abogó por la plena libertad de la prensa y el teatro, y denunció la corrupción política de todo tipo. Sin embargo, estuvo implicado indirectamente en los escándalos en Panamá a través de su suegro, el Barón de Reinach. Tan pronto como se enteró de que se estaba beneficiando por fraude, hizo su apropiada restitución.
Desde 1894, toma partido por Alfred Dreyfus, solicitando al Presidente de la República, Jean Casimir-Perier, que el juicio no se celebre a puertas cerradas, sino en una audiencia pública, y denunciando en el periódico El Siècle los añadidos falsos al expediente por parte del Coronel Henry, lo que le valdrá ser acusado por difamación por la viuda de este último en 1898. En 1897, junto con Auguste Scheurer-Kestner trabaja para exigir la revisión del proceso. Sus posturas contribuyen a la reunión de personalidades como Anatole Leroy-Beaulieu y Gabriel Monod. Pero fue atacado por la prensa nacionalista, ya que Reinach era judío. Acusado por algunos de asumir la defensa de Dreyfus por motivos raciales, pierde su escaño de diputado en mayo de 1898.[1]
Participa entonces en la creación de la Liga de los Derechos de Hombre y del Ciudadano, cuya primera asamblea general se reúne algunos días más tarde. Comienza también a redactar su monumental Historia del caso Dreyfus, que aparece en 1901 y que contará siete volúmenes, después de la rehabilitación de Dreyfus diez años más tarde.
En 1906, recobra su banca de diputado. En ese año se convirtió en miembro de la Comisión de los Archivos Nacionales, y al año siguiente en miembro del Consejo en las Cárceles. Reinach fue un prolífico escritor sobre temas políticos. Conservó su banca de diputado hasta 1914.
Su hijo Adolphe, que había empezado una brillante carrera de arqueólogo como sus tíos, murió en el frente durante la Primera Guerra Mundial.
