La date exacte de la fondation du Gyokusen-ji est incertaine mais les documents du temple indiquent qu'il s'agit à l'origine d'un ermitage de la secte Shingon converti à la secte zen Sōtō au cours de l'ère Tenshō (1573-1592).
L'actuel hondō est construit en 1848, mais peu de temps après son achèvement, il est réquisitionné par le shogunat Tokugawa pour servir de résidence aux visiteurs étrangers à Shimoda lors des négociations pour mettre fin à la politique d'isolement nationale du Japon. Il accueille des officiers des navires noirs du commodore américain Matthew Perry, et les autorités japonaises autorisent l'inhumation des corps des marins américains dans son cimetière. Peu de temps après, il devient la résidence d'une délégation de Russes sous le commandement du vice-amiral Ievfimy Poutiatine, retenu à Shimoda à la fin de 1854 lorsqu'un tsunami causé par les grands séismes de l'ère Ansei détruit sa flotte. Le temple est utilisé lors des 2e et 3e séries de négociations entre le shogunat Tokugawa du Japon et l'empire russe qui aboutissent à la conclusion du traité de Shimoda de 1855.
Après que la convention de Kanagawa a théoriquement ouvert le Japon au monde extérieur, un groupe de commerçants américains arrive à Shimoda et tente en vain d'ouvrir des relations commerciales — question qui n'a pas encore été réglée par le traité. Ce groupe réside au Gyokusen-ji après le départ des Russes jusqu'à l'arrivée de Townsend Harris, le premier consul général américain au Japon en 1856. Harris reste en résidence au temple pendant deux ans et dix mois. Durant son séjour, il exige que les Japonais lui fournissent du lait et de la viande bovine.
Le Gyokusen-ji a aujourd'hui un monument orné de l'image d'une vache que le temple revendique comme ayant été l'endroit où le premier quadrupède a été abattu pour la consommation humaine.
« Ce monument, érigé en 1931 par les bouchers de Tokyo, marque l'endroit où la première vache au Japon a été abattue pour la consommation humaine (mangée par Harris et Heusken). »
Parmi les autres monuments, l'un rappelle que le temple est l'endroit où a commencé la production laitière japonaise, et un autre commémore la visite du président Jimmy Carter en 1979.
Cinq Américains et trois Russes morts à Shimoda dans les années 1850 sont enterrés dans le cimetière du sanctuaire. Le temple a conservé les pièces utilisées par Townsend Harris et Henry Heusken, le « musée Townsend Harris », avec des documents, des ukiyoe et un diorama de poupées mannequins qui représentent le temple tel qu'il était durant la période du Bakumatsu. Le temple et son enceinte sont désignés « site historique national » en 1951.
