Sous la république de Weimar, il est Vermessungsoffizier (officier d'études) de la Reichsmarine, puis il occupe différentes positions d'état-major. À la fin de 1934, il est capitaine de vaisseau sur le vieux Hessen, puis il devient commandant du cuirassé de poche Admiral Scheer. Nommé contre-amiral en 1936, il rejoint l'Oberkommando der Marine (haut commandement de la Kriegsmarine) où il dirige la division des opérations. Pendant la guerre civile espagnole, il commande les forces navales allemandes au large des côtes d'Espagne. Il est promu amiral et Flottenchef (commandant de la flotte) en 1939.
En juin 1940, il commande l'escadre allemande de la mer du Nord lors de l'opération Juno. À l'issue de celle-ci il est démis de ses fonctions par l'amiral Raeder avec lequel il était en désaccord, et affecté à la direction de l'inspection de la formation navale pendant deux ans. En 1942, il est nommé amiral commandant pour la zone occupée française et remplace Alfred Saalwächter comme commandant du Marinegruppenkommando West (commandement du groupe Ouest de la marine). Le , il est promu Generaladmiral (amiral-général), mais est remplacé comme commandant de la zone Ouest par Theodor Krancke et retiré du service actif un peu plus tard, au printemps 1943.
Durant le reste de la guerre, Marschall reprend deux fois du service, d'abord comme Sonderbevollmächtigter (mandataire spécial) pour le Danube, et puis comme commandant du Marineoberkommando West peu de temps avant la fin de la guerre. Entre 1945 et 1947, il est détenu comme prisonnier de guerre.
