Le plus ancien document écrit faisant référence au manoir date de 1540.
En 1652, Rastila est un centre équestre, c'est-à-dire qu'il devait équiper les chevaux et les soldats de l'armée du roi en échange d'un allégement fiscal.
En 1748, on commence à construire la forteresse de Viapori et la demande de matériaux de construction atteint son paroxysme.
Le commandant Jean Elfving fonde alors une briqueterie sur les terres du manoir de Rastila.
En 1761, Carl Magnus Jägerhorn achète le manoir puis le revend en 1774 au pharmacien Wilhelm Elg.
En 1912, le juge Walter Ahlqvist achète le manoir.
Gunnar Colérus louera ces terres de 1922 à 1935 pour les cultiver.
Les terres du manoir sont bombardées par les soviétiques pendant la guerre de continuation.
En 1951, les héritiers d'Ahlqvist vendent le manoir à la municipalité d'Helsinki.
Au moment de cette vente, le manoir s'étendait sur 196 hectares.
