Hans Nielsen poursuit des études de commerce avant de prendre des leçons de théâtre privées auprès d'Albrecht Schoenhals et d'Erich Ziegel. Il fait ses débuts à Hambourg en 1932, puis monte sur scène à Augsbourg, Kiel, Leipzig, Berlin, Munich et Düsseldorf. Son premier rôle cinématographique a lieu en 1937 dans Daphne und der Diplomat, puis il joue dans de grandes productions, telles que Heimat (avec Zarah Leander), Friedrich Schiller, triomphe d'un génie (avec Horst Caspar) et Der große König (avec Otto Gebühr). Il joue également dans Titanic en 1943, mais le film ne sera montré en Allemagne de l'Ouest qu'à la fin 1949 - début 1950 et en Allemagne de l'Est dans les années 1950, où le film rencontre un grand succès. Nielsen y joue le rôle d'un lieutenant de vaisseau héroïque, amoureux d'une Danoise mystérieuse (Sybille Schmitz).
Après la guerre, Nielsen fonde une troupe de cabaret Die Außenseiter et joue dans les revues de Günther Neumann. Le film In jenen Tagen (1947) de Käutner lui permet de rencontrer un grand succès auprès du public. Il interprète ensuite des rôles de personnages positifs et sympathiques, au destin parfois tourmenté. Il joue ainsi un pasteur qui se noie de désespoir après la mort de son enfant dans Nachtwache (1949) de Harald Braun. Dans la satire de Curt Goetz Hokuspokus (1953), il joue un président de tribunal et l'inspecteur Cooper dans Sherlock Holmes et le Collier de la mort (1962). Paul May lui fait jouer un commissaire de police dans Scotland Yard jagt Dr Mabuse (1963), puis il apparaît en tant que président de tribunal dans Der Jugendrichter à côté de Heinz Rühmann. On le voit à côté de Curd Jürgens et Lilo Pulver dans Gustav Adolfs Page et Don Pedro Alvarez inspirés des œuvres de Conrad Ferdinand Meyer. Il tourne également dans plusieurs films extrêmement populaires pour la jeunesse racontant les aventures de l'Indien Winnetou de Karl May, ainsi que dans Das indische Tuch, Das Phantom von Soho et Die Tür mit den sieben Schlössern d'après Edgar Wallace.
Hans Nielsen poursuit également une carrière dans la synchronisation de films américains après 1948, qui déferlent en Allemagne de l'Ouest, où il double Gary Cooper ou Errol Flynn.
Il meurt d'une leucémie à l'âge de cinquante-trois ans. Il est enterré au cimetière de la Heerstraße à Berlin-Ouest.
