Nacido en Berlín, el segundo hijo del filósofo y escritor georgiano Tite Margwelaschwili que se había mudado a Alemania después de la Invasión del ejército rojo de Georgia en 1921 y fue presidente de la organización de emigrantes políticos georgianos en Berlín. desde 1941. Su madre, Mariam, se suicidó cuando tenía cinco años. Debido a los bombardeos estratégicos durante la Segunda Guerra Mundial, asistió a varias escuelas de gimnasios diferentes en Berlín entre 1934 y 1946, y participó en el movimiento juvenil antifascita Jóvenes del swing.
Poco antes del final de la Segunda Guerra Mundial, él y su padre escaparon de Alemania a Italia, donde vivía su hermana, Elisabeth. Mientras ella permanecía allí, su padre y el regresaron a Berlín. En diciembre de 1945, Giwi y su padre fueron secuestrados por la policía soviética NKVD. Después de ocho meses de interrogatorios, su padre recibió un disparo como traidor. Giwi fue internado en Hohenschönhausen, luego en el antiguo Sachsenhausen. La ubicación aparece en sus obras solo en el diminutivo, "Sachsenhäuschen". Explica la ausencia de referencias a él en sus escritos como, porque dejó atrás las cosas terribles que experimentó allí.
En 1995, fue galardonado con el Premio de Literatura de Brandeburgo. Se convirtió en miembro del PEN Internacional y recibió una beca del presidente de Alemania. La Universidad de Bamberg lo nombró profesor de poesía. La Academia de las Artes de Berlín, lo condecoró con el Kunstpreis de Berlín por el trabajo de su vida. En 2006, el Instituto Goethe le otorgó la prestigiosa Medalla Goethe. Obtuvo un doctorado honorario de la Universidad Estatal de Tiflis. Regresó a Tiflis en 2011.
En 1970, se casó con la autora y filóloga alemana, Naira Gelashvili. Su hija, Anna, también es filóloga alemana. Margwelaschwili murió en Tiflis el 13 de marzo de 2020.
