サーレスタイン・ハウスは、アマチュア建築家のJ・R・スコットが、自分で使用するために1820年に建設を開始した[1]。1838年、未完成の状態で第2代ノースウィック男爵ジョン・ラッシュアウト(英語版)が購入した。ノースウィック卿は建物を完成させ、さらに自身の美術コレクションを収容するために別棟を増築した。1859年、ノースウィック卿は、子供がいないまま遺言を残さずに死去した。美術コレクションや邸宅は遺族により売却された。
1863年、ビブリオマニアとして知られる準男爵サー・トーマス・フィリップスがこの邸宅を購入し、自身が保有する膨大な蔵書をミドルヒルからこの邸宅に移した[3]。フィリップスの死後はその娘に相続された[4]。
1947年にチェルトナム大学(英語版)が31,326ポンドで購入し、以来同大学が保有している[3]。