Los constructores de los hoteles de Henry M. Flagler empezaron a construir la casa el 1 de julio de 1905, utilizando madera sobrante.[1][2] Situada originalmente en el 327 de Acacia Street de West Palm Beach, la casa recibió el apodo de "la dama pintada", por sus vivos colores. Sin embargo, la vivienda se conocería oficialmente como "Gatekeeper's Cottage" en sus inicios, ya que servía de residencia del guardián del cementerio Woodlawn, situado justo al otro lado de la autopista Dixie.[2] La casa también sirvió originalmente como funeraria.[3] En 1914, Gatekeeper's Cottage se convirtió en "City House" tras ser adquirida por el gobierno de la ciudad de West Palm Beach.[2]
En 1920 fue adquirida por Karl Riddle, por el que se conoce actualmente. Riddle fue el primer administrador de la ciudad y superintendente de obras públicas de West Palm Beach.[1] Tras ser destituido en 1923 por un margen de cinco votos,[4] Riddle se mudó de la casa, que pasó a ser una residencia temporal para los nuevos empleados de la ciudad.[2] Riddle y su hermano gemelo Kenyon construyeron posteriormente casas en una propiedad de 36 acres (15 ha) a las afueras de la ciudad, en 1935. En 1972, la artista Mary Ann Hayes adquirió la casa en una subasta por algo más de 21 000 dólares y la convirtió en una escuela de arte, el Flagler Arts Center.[5] El Palm Beach Atlantic College (ahora Palm Beach Atlantic University) la compró a principios de los años 1980 y la utilizó como residencia durante varios años. Más tarde, se programó la demolición de la casa debido a la expansión de la universidad.[2][6]
Sin embargo, la PBA decidió donar el edificio a la junta directiva del comité Yesteryear Village de la Feria del Sur de Florida. John Riddle, sobrino de Karl Riddle, fue entonces el presidente del comité.[7] Después de que los profesionales estimaran que el traslado de la casa costaría unos 50 000 dólares, John Riddle reclutó en su lugar a 60 voluntarios.[6] Entre el 12 y el 13 de agosto de 1995, fue desmontada y trasladada al Yesteryear Village. El tejado y el ático se dividieron en dos, al igual que el primer y el segundo piso. Finalmente, el edificio se volvió a montar tras llegar a Yesteryear Village.[7] Gracias a una subvención histórica estatal de 450 000 dólares, la Riddle House también fue restaurada para recuperar su aspecto de la década de 1920.[6]
