Grimani nació en una familia de mercaderes sin fortuna, pero por sus propios esfuerzos logró ganar riquezas y convertirse en uno de los más importantes comerciantes de Venecia. A los sesenta años de edad consiguió su primer cargo público, supervisando la navegación comercial en el Mar Adriático, pero sin adquirir experiencia militar alguna.
Este elemento le causó graves contratiempos cuando en 1499 fue nombrado jefe de la escuadra de guerra (o Capitano da Mar) al estallar la guerra turco-veneciana (1499-1503), siendo severamente derrotado en agosto de ese mismo año en la batalla de Zonchio, también conocida como la batalla de Sapienza o la primera batalla de Lepanto, contra el Imperio otomano. Su evidente impericia en la batalla causó un gran enojo en la élite y en el pueblo de Venecia, considerándose una humillación la derrota ante los otomanos; este hecho le hizo acreedor de una condena perpetua de destierro,[1] siendo enviado a la isla de Cres, posesión veneciana en el litoral de la actual Croacia.
Tras varias gestiones de su familia, en 1509 se dejó sin efecto el destierro de Grimani y éste pudo retomar sus actividades comerciales en Venecia, lo cual le trajo grandes riquezas que años después apoyarían su elección como dux. Tras el agitado gobierno del dux Leonardo Loredan y las dificultades venecianas durante la Guerra de la Liga de Cambrai, la muerte de Loredan en 1521 forzó la elección de un dux, pero sin la candidatura de numerosos personajes importantes, lo cual facilitó la elección de Grimani en julio de ese año.
En el momento en que asumió el dogado, afrontó varios problemas familiares por reparticiones de herencias, que ensombrecieron su gestión. Además, Grimani estuvo al frente de la República en la Guerra Italiana de 1521-1526, aliándose con Francisco I de Francia, siendo Venecia el único estado que no abandonó su alianza con los franceses. No obstante, tras la grave derrota francesa en la batalla de Bicoca en abril de 1522, Grimani estuvo muy preocupado por el curso de la guerra que se tornaba ahora adverso para Venecia.
