El fuerte fue construido entre 1852 y 1856, la fortificación tiene un área de 1900m 2, fue construido con el propósito de defender el puerto de Dakar.[3] El fuerte recibe su nombre en honor al vicealmirante Jean II d'Estrées, en el que recuperó el control de la isla de manos de los holandeses en 1677.[4] El responsable de la construcción del fuerte fue Emile Pinet-Laparde, uno de los responsables de la administración colonial francesa de Dakar.[5] El fuerte se convirtió en prisión y centro disciplinario reservado para ciertos prisioneros de la prisión de Dakar. En 1977, el gobierno de Senegal cerró la prisión y entregó la propiedad del edificio al Institut fondamental d'Afrique noire. El trabajo de renovación y transformación del fuerte fue iniciado por el antropólogo belga Guy Thilmans, estas renovaciones tomaron más de una década.[6] El trabajo de renovación fue financiado por autoridades públicas y fondos privados, incluida la Fundación Ford, la UNESCO además de las embajadas de Francia y Arabia Saudita.[4] La decisión de crear el museo en el fuerte se debió a que el anterior museo de la IFAN era demasiado pequeño, por lo que a pedido del director del instituto, Amar Samb, se decidió establecer un nuevo museo en el fuerte, los trabajos de restauración fueron supervisados por el Bureau d'Architecture des Monuments Historiques.[7] El 3 de marzo de 1989 se completaron las remodelaciones y se inauguró el museo. Según Abdouyale Ly, el primer director del museo, el objetivo con la apertura de este museo era de promover la cultura de África Occidental.[8]