Nsengiyumva nació en octubre de 1971.[1][2][3] Obtuvo una licenciatura en la Universidad Católica de África Oriental.[1] Trabajó como uno de los principales negociadores comerciales del gobierno de Ruanda antes de convertirse en Secretario Permanente del Ministerio de Comercio e Industria.[4] Después de eso, se desempeñó como Secretario Permanente en el Ministerio de Educación antes de dejar el puesto en 2008.[1] En noviembre de 2008, fue arrestado y luego condenado por cargos de corrupción.[1][5] Después, dejó Ruanda para ir a Kenia, donde obtuvo una maestría en la Universidad de Nairobi.[1]
Tras graduarse en la Universidad de Nairobi, Nsengiyumva se mudó al Reino Unido y obtuvo la ciudadanía británica.[1] Allí, asistió a la Universidad de Leicester, donde obtuvo un Doctorado en Filosofía.[1] Trabajó como asistente de cátedra de posgrado en Leicester y posteriormente fue director de la escuela secundaria católica All Hallows en Salford.[6] Nsengiyumva trabajó durante cinco años para la organización Refugee Action como director de desarrollo de políticas e investigación y fue fideicomisario nacional de la Unidad de Ayuda a la Inmigración del Gran Manchester.[6] También fue director comunitario del Sir John Deane's College.[6]
Nsengiyumva también trabajó como funcionario público en el gobierno británico, sirviendo como economista para el Departamento de Trabajo y Pensiones y luego como asesor económico sénior en la Oficina de Ferrocarriles y Carreteras, el regulador de los ferrocarriles británicos.[7] Después de haber estado fuera de Ruanda desde 2008, regresó en 2025 y fue nombrado vicegobernador del Banco Nacional de Ruanda por el presidente Paul Kagame en febrero de 2025.[1][7] Anteriormente había sido indultado junto con otras 380 personas por Kagame en 2023.[5] El 23 de julio de 2025, Kagame nombró a Nsengiyumva nuevo primer ministro de Ruanda, en reemplazo de Édouard Ngirente.[1]