Son père fabriquait et vendait des chaussures orthopédiques en Allemagne. En 1933, la famille fuit le régime nazi et s'installe à Paris. Une semaine avant la déclaration de la guerre son père est arrêté par la police secrète française. Alors, sa mère l'envoie avec ses deux sœurs au Château de Chaumont .Elles y vivent pendant près de trois ans sous la direction de l'organisation Œuvre de secours aux enfants (O.S.E) parmi d'autres enfants juifs. Un prêtre nouvellement arrivé au village signale la présence d'enfants juifs aux autorités et les enfants sont progressivement dispersés. Fanny a rejoint sa tante à Tence, une ville du sud-est de la France, tandis que ses sœurs sont envoyées dans un refuge pour enfants cachés. Lorsqu'elle découvre que sa mère est détenue à Lyon, elle s'y rend pour la voir. Elle réussit même à convaincre les gardes de la relâcher pour 24 h.
En 1943, Fanny, ses sœurs, sa mère et sa tante sont réunies à Megève en Haute-Savoie et y vivent dans un foyer pour réfugiés de l'OSE. Avec l'approche des Allemands, il est prévu d'envoyer un groupe d'enfants de 4 à 17 ans jusqu'à la frontière suisse. Mais lorsque le garçon de 17 ans abandonne le groupe, c'est Fanny à 13 ans qui devient le chef. Ils devaient voyager par train jusqu'à Annemasse et y retrouver leur passeur. Mais le groupe n'atteint jamais Annemasse car le pont à Annecy avait été bombardé. Les enfants sont aidés par un employé du chemin de fer qui les aide à monter à bord d'un train de marchandises. Le train est inspecté par la Gestapo et les enfants sont emprisonnés, sans eau ni nourriture pendant trois jours, afin de les faire avouer qu'ils sont juifs et de révéler la cachette de leurs parents. Heureusement, même les plus jeunes avaient appris à donner un faux nom et à insister sur le fait qu'ils étaient catholiques. En fin de compte, les enfants atteignent la Suisse.
À la fin de la guerre, Fanny et ses sœurs apprennent que leurs parents sont décédés dans les camps de concentration d'Auschwitz et de Lublin.
Après la guerre, Fanny Ben-Ami vit pendant quelque temps avec une famille en Suisse et elle avait l'intention de poursuivre des études d'arts plastiques à Zurich, mais le gouvernement Suisse la renvoie en France où elle vit avec sa tante et travaille avec elle dans l'industrie de la fourrure. Elle n'aime pas son travail, mais par manque d'argent, elle ne peut pas changer de profession.
En 1955, elle rend visite à ses sœurs en Israël pour la première fois. Peu de temps plus tard, elle déménage dans un kibboutz où elle rencontre son mari qui était musicien. Ils déménagent à Holon, au sud de Tel-Aviv et auront deux enfants.
Avec l'encouragement de son mari, Fanny Ben-Ami commence à faire de la peinture à l'aquarelle. Elle produit vingt-sept aquarelles de son voyage à travers la France. Ce sont ses seules peintures de la Shoah.
