Il existait au début du XXesiècle différents lieux de formation pour les futurs prêtres du Tonkin (actuel nord du Viêt Nam). C'est en 1932 que Mgr de Guébriant, supérieur général des Missions étrangères de Paris bénit la première pierre d'un nouveau séminaire dans l'arrondissement de Lieu Gai. Il est inauguré en 1934 et des enseignants sulpiciens (dont Mgr de Guébriant avait été élève autrefois) y sont engagés[2]. Il a notamment pour élève en 1942-1946 le serviteur de DieuJoseph Tiên.
Il ferme le au début de la guerre d'Indochine et la classe de théologie est évacuée chez les rédemptoristescanadiens de Thai Ha. Il rouvre en 1948 - toujours sous l'épiscopat de MgrFrançois Chaize - dans une ancienne école construite en 1928 à son adresse actuelle, lorsque les Français sont réinstallés à Hanoï. Il est dirigé par le révérend père Gastine et le révérend père Vuillard jusqu'en 1954, année des accords de Genève, quand les étrangers sont expulsés et 60% des catholiques nord-vietnamiens s'enfuient vers le Sud Viêt Nam. Le séminaire est rétrogradé au rang de petit séminaire (198 élèves), sous le nom de petit séminaire Saint-Jean, dirigé par le recteur Pham Dinh Dung, mais il est dissous par les autorités communistes en 1960.
L'archidiocèse de Hanoï négocie en 1971 avec les autorités et obtient un retour au séminaire Saint-Joseph. Le gouvernement décide des admissions en nombre limité et les ordinations ne doivent avoir lieu que tous les deux ans. En 2005, le gouvernement autorise des ordinations annuelles[3], avec un nombre maximal de 162 étudiants au séminaire.
