Refusant de jurer fidélité à la constitution civile du clergé, et encourageant ses confrères à faire de même, il est arrêté (avec un groupe de prêtres du diocèse de Moulins) le , et condamné à la déportation en Guyane. À cause du blocus maritime de Rochefort par les troupes anglaises aucun navire ne peut quitter le port. Les prisonniers - dont une très grande partie sont des prêtres catholiques - sont enfermés dans des pontons insalubres.
Sur le ponton des Deux-Associés, les conditions de vie sont extrêmement pénibles: maltraitance, épidémie de typhus font des ravages. Imbert est l'âme du groupe. Il compose et chante la Marseillaise des prêtres' un hymne religieux qui, sur l'air de la Marseillaise, chante l'idéal de la vie sacerdotale. Il est repris en chœur avec ferveur par ses confrères!
Des 829 prisonniers des pontons de Rochefort il semble bien que 542 soient morts assez rapidement. Parmi eux Joseph Imbert qui succombe le .
