Sa carrière professionnelle a commencé en 1974 au sein du ministère de la Santé de la Sierra Leone. En 1977, il rejoint le personnel de la clinique de Basse Santa Su en Gambie. En 1979, il devient médecin en chef de l'hôpital de Bansang en Gambie, où il reste jusqu'en 1981. Il exerce ensuite comme médecin libéral en milieu rural jusqu'en 1997 à Barra. Il travaille à l'hôpital musulman Ahmadiya jusqu'en 2004. En 2009, il retourne à Barra comme médecin libéral[1].
Le , Gaye est nommé ministre de la Santé et des Affaires sociales par le président Yahya Jammeh. Il succède à Mariatou Jallow[2],[3].
Gaye meurt le à l'Hôpital Royal Victoria Teaching à Banjul.