Issu d'une famille ouvrière et paysanne, Joseph Klock n'en fait pas moins des études secondaires à Metz, puis universitaires à Strasbourg et Göttingen.
Engagé très tôt dans le catholicisme social, il participe aux mobilisations des ouvriers du verre de la région de Sarrebourg en 1929, aux côtés des syndicats CFTC. Il est aussi très actif au sein de l'action catholique locale. Il se rapproche ensuite de Marc Sangnier et participe aussi aux travaux de l'Institut Léon XIII.
En 1932, il fonde à Hartzwiller une cristallerie coopérative.
Trois ans plus tard, il est élu secrétaire de l'union régionale des syndicats CFTC d'Alsace et Lorraine, et, en 1936, est nommé délégué confédéral pour la région Est.
En 1938, il remplace Ernest Thiele, dont il est l'un des proches et qui vient de mourir brutalement, à la Conférence internationale du travail de Genève et comme secrétaire administratif de la Fédération internationale des syndicats chrétiens d'employés.
Mobilisé comme lieutenant d'infanterie au début de la Seconde guerre mondiale, il est fait prisonnier en , mais est rapidement libéré et peut rejoindre Strasbourg dès septembre.
Refusant de poursuivre une action politique et syndicale dans l'Alsace annexée, il trouve un emploi à la chambre de commerce.
Rendu à la vie civile fin novembre, il renoue avec le syndicalisme mais, surtout, adhère au Mouvement Républicain Populaire qui se crée.
Elu conseiller général du Bas-Rhin, dans le canton de Marmoutier, en , il entame une carrière d'élu local: conseiller municipal de Strasbourg en 1947, il en devient maire-adjoint au printemps 1951, et conserve ce mandat jusqu'à sa mort.
En juin de cette même année, il figure sur la liste menée par Pierre Pflimlin aux législatives, qui remporte cinq sièges, et dont il est le dernier élu.
Le nouveau député a une activité parlementaire soutenue, dans des domaines très divers: statut des agents des collectivités locales, questions fiscales, lutte contre la concurrence déloyale. Il dépose aussi une proposition de loi visant à lever les sanctions prises dans le cadre de l'épuration administrative.
Réélu en 1956 dans les mêmes conditions, il continue, tout en ne se distinguant pas des positions prises par son parti sur les questions nationales, de développer une activité éclectique, s'intéressant à la défense du petit commerce, à l'entretien des routes nationales, ou s'insurgeant contre l'utilisation des couleurs nationales à des fins commerciales.
Candidat aux législatives de 1958, il est battu au second tour par le gaulliste André Bord.
Par la suite, il ne tente pas de retrouver un siège de parlementaire, et se consacre entièrement à son mandat de maire-adjoint, et plus particulièrement aux dossiers des transports urbains et de l'habitat social.
Il meurt prématurément, en cours de mandat, à l'âge de cinquante-neuf ans.
