Annie Miller naît en 1835 dans une famille de l'Ouest de Londres. Malgré le quartier huppé dans lequel elle évolue (l'Ouest est à ce titre traditionnellement relié au pouvoir britannique et à une certaine aisance de ses habitants tandis que l'Est est bien plus pauvre), les auteurs se mettent d'accord pour dire que l'enfance d'Annie Miller fut le fruit du paupérisme[1],[2].
Son père, soldat de carrière, s'occupe d'Annie Miller et de la sœur de celle-ci lorsque la mère de famille vient à mourir. Peu d'années plus tard et face à sa santé fragilisée, le père d'Annie Miller donne ses filles à des proches pour que ceux-ci s'occupent de ces jeunes adolescentes.
Très tôt donc, Annie Miller connaît la pauvreté ainsi que les emplois de fortune qui lui permettent de survivre dans un Londres toujours plus inégal.