Randow nació en Grammow, Mecklemburgo-Schwerin. Se convirtió en enseña en 1910, y después atendió a la academia militar y se convirtió en teniente el 20 de noviembre de 1911, cinco días después de su 21.º cumpleaños. Después estuvo en el 2.º Regimiento de Dragones Mecklemburgueses n.º 18 en Parchim.
Con los dragones de Parchim luchó durante la Primera Guerra Mundial primero en Francia, y después por muchos años en el frente oriental, mayormente cerca de Dünaburg (Daugavpils), después en Riga. En enero de 1917 fue promovido a teniente 1.º. Después de la guerra se convirtió en maestro de equitación en la escuela de equitación del ejército en Hanóver. En 1922 estuvo comprometido con el Regimiento de Caballería n.º 14 y progresó a capitán de caballería en 1924. A partir de 1925 fue adjunto en el personal del regimiento y entre 1926 y 1929 jefe del 2.º escuadrón.
Randow siguió su carrera como soldado en el Ejército alemán. En 1936 fue promovido a teniente coronel y comandante de la 2.ª sección de su regimiento en la ciudad de Parchim; en 1938 pasó a ser comandante del Regimiento de Caballería n.º 13 en Luneburgo. El mismo año fue promovido a coronel.
Randow tomó parte en la invasión de Polonia en 1939 como comandante del Regimiento de Caballería n.º 13. El 26 de octubre de 1939, tomó el control como comandante del Regimiento de Infantería n.º 26 y participó en la campaña en Francia. En 1941 tomó parte en la invasión de la Unión Soviética como comandante de la 2.ª Brigada de Caballería dentro de la 1.ª División de Caballería. Recibió la "Cruz Alemana en Oro".
En abril de 1942 Randow fue promovido a mayor general. En septiembre de 1942 asumió el mando de la 21.ª División Panzer del Afrika Korps, donde sirvió hasta su muerte. El 21 de diciembre de 1942, al sur de Sirte en Libia, pisó una mina terrestre y murió. Fue enterrado en el cementerio alemán de guerra en Tobruk. Después de su muerte fue promovido a teniente general.
