Le premier château sur ce site remonte au milieu de l'époque de Muromachi, quand Shiba Kaneyori s'établit comme seigneur de la région environnante de la province de Dewa et construit une résidence fortifiée sur le site de ce qui est maintenant la baille centrale du château de Yamagata. Il change plus tard son nom en Mogami Kaneyori et le clan Mogami continue de régner pendant environ deux cent soixante-quinze ans. Mogami Yoshiaki reconstruit le château en 1592, ajout une deuxième et une troisième motte castrale et un certain nombre de yagura à un et deux étages. Le château est dépourvu de tenshu (donjon).
Après la bataille de Sekigahara, les Mogami dominent un domaine de 570 000 koku de revenus. Cependant, le clan en est dépossédé par le shogunat Tokugawa en 1622. Par la suite, le château et le domaine de Yamagata passent à travers un grand nombre de clans de daimyos, souvent pendant moins d'une génération, et ses revenus sont fortement réduits. Vers le milieu de l'époque d'Edo, la baille principale est laissée à l'abandon, la deuxième utilisée comme résidence des daimyos et la moitié ouest de la troisième motte castrale restituée à l'activité agricole.
Le château est aux mains du clan Mizuno à l'époque de la restauration de Meiji. Avec l'abolition du système han en 1871, le domaine de Yamagata devient la préfecture de Yamagata et en 1872, les terres du château sont vendues à l'État et utilisées comme base militaire pour le 32e régiment d'infanterie de l'armée impériale japonaise. De nombreux sakura sont plantés dans les jardins du château en 1906 pour commémorer la guerre russo-japonaise.
Après la Seconde Guerre mondiale, le site du château est transformé pour devenir l'actuel parc Kajo comprenant le musée préfectoral de Yamagata. La porte est du château et le site du tenshu sont restaurés en 1986, et le Higashi Otemon Date de la deuxième motte castrale en 1991. En 2004, la maçonnerie de la porte Inchimon est restaurée et un pont menant à la motte castrale principale est reconstruit en 2006. Des rénovations ainsi que des fouilles archéologiques sont en cours, et la ville de Yamagata prévoit de restaurer autant que possible du château dans son état du début de l'époque Edo d'ici 2033. Le château est inscrit comme l'un des cent châteaux japonais remarquables par la fondation des châteaux japonais (日本城郭協会, Nihon jōkaku kyōkai?) en 2006.