En 1854, Adolphus Frederick Feez acheta le terrain pour 200 livres à J.L Travers, le propriétaire du bâtiment voisin l'Admiralty House, qui à cette époque était nommée Wotonga. Il y fit construire en 1855 une maison double de style néogothique, originale avec des toits en forte pente, des fenêtres à baie, un double pignon.
La propriété passa par la suite entre de nombreuses mains de propriétaires privés jusqu'à ce qu'elle soit rachetée en 1919 pour 10 000 livres par Arthur Wigram Allen. Allen prévoyait de diviser la propriété en parcelles pour la revendre mais devant les protestations de la population de Sydney, le Premier ministre, Billy Hughes, décida de la racheter pour le compte de l'État australien en 1920.
La propriété servit à accueillir le personnel du gouverneur général d'Australie jusqu'en 1930, puis elle fut mise en location jusqu'en 1953.
En 1956, le gouvernement australien décide de rénover la Kirribilli House pour en faire une résidence officielle du Premier ministre et de sa famille, ou pour accueillir des hôtes de marque à Sydney.
En 1985, le bâtiment en mauvais état fut le sujet d'un plan de conservation et des travaux majeurs furent entrepris en 1986 pour préserver l'intégrité structurelle et historique de la résidence. En 1999, l'escalier principal fut reconstruit dans sa position originale de 1880.
Bien que la propriété ne soit pas destinée à être le logement principal du Premier ministre, John Howard, ancien Premier ministre, qui est originaire de Sydney, s'attira nombre de critiques quand il annonça au début de son premier gouvernement en 1996 qu'il utiliserait la Kirribilli House comme résidence principale. Il n'irait à The Lodge à Canberra que lorsqu'il en aurait la nécessité pour les réunions parlementaires ou de gouvernement. Howard expliqua son choix par sa volonté de garder avec lui sa famille et ses trois enfants alors qu'un de ses fils faisait ses études à Sydney. La maison fut rénovée pour permettre à une famille de cinq personnes d'y vivre en permanence.
La décision d'Howard provoqua une vive colère surtout chez les habitants de Melbourne, puisque la principale raison de l'existence de Canberra en tant que capitale de l'Australie était d'éviter que l'une des deux principales villes du pays, Sydney ou Melbourne, ne joue ce rôle. Dans ses explications, Howard avait laissé entendre que dès que son dernier fils quitterait la maison, il irait s'installer à Canberra à The Lodge mais Howard ne le fit pas. Il expliquera par la suite que The Lodge était devenue sa résidence officielle puisque son emploi du temps l'obligeait à être plus souvent à Canberra qu'à Sydney mais dès que ses contraintes officielles ne l'obligeait pas à être à Canberra, il résiderait à la Kirribilli House.
La résidence primaire et officielle du Premier ministre australien reste The Lodge, à Canberra.
