Son père, Arthur Wharton Swann, est médecin et chef de clinique à l'Hôpital presbytérien de New York[2]. Celui-ci meurt en 1914, alors que Lilian Swann est âgée de deux ans[3].
Lilian Swann épouse Eero le et le couple a deux enfants ensemble: Eric Saarinen, né en 1942, et Susan Saarinen, née en 1945. Ils divorcent en 1954, après quoi elle s'installe à Cambridge, dans le Massachusetts[5].
En 1946, elle écrit et illustre le livre Who Am I?[7].
↑ (en) Marty Carlock, A Guide to Public Art in Greater Boston: From Newburyport to Plymouth, Harvard Common Press, (ISBN978-1-55832-062-8, lire en ligne)