Rose étudie au lycée impératrice-Augusta(de) à Charlottenbourg. Il s'engage dans la Kaiserliche Marine le en tant que cadet de la marine. Après avoir navigué sur le navire-école SMSStein, Rose sert comme enseigne de vaisseau puis, après sa promotion en , comme lieutenant sur le SMSHessen. Il se trouve ensuite sur le croiseur-école SMSFreya et enfin comme officier de quart sur le SMSWettin. Le , Rose est promu lieutenant. Il est brièvement enseignant sur le navire-école de torpilles SMS Württemberg(de) et, de 1912 à 1913, premier officier sur le SMS Loreley(de), stationné à Constantinople. De à l'été 1914, Rose est commandant de torpilleur et est promu lieutenant de vaisseau au début de la Première Guerre mondiale[1].
A gauche avec ses adjoints de l'U-53.
Après son transfert à l'école de sous-marins en 1915, Rose reçoit le commandement de l'U 2. En 1916, il est brièvement enseignant à l'école de sous-marins, retourne à la flottille de sous-marins et prend le commandement de l'U-53(en) le . Il est promu Kapitänleutnant en 1914.