Fue hijo del duque de Galliera, el millonario banquero genovés Raffaele de Ferrari, y de su esposa Maria de Brignole-Sale, su padrino de bautismo fue el príncipe Felipe de Orléans, Conde de Paris y pretendiente a la corona de Francia por muchos años. De familia muy adinerada y dedicada a negocios bancarios y en los ferrocarriles franceses, el joven Von Ferrary realizó estudios de ciencias políticas, y tras la muerte de su padre en 1876 fue adoptado por el conde austriaco Arnold de La Renotière von Kriegsfeld y asumió la nacionalidad austriaca. De este modo pasó a llamarse barón Philippe de La Renotière von Ferrari, o Philippe-Arnold Ferrari de La Renotière o más simplemente Philipp von Ferrary.
Heredero de la amplia fortuna de sus padres, Von Ferrary rechazó los títulos de nobleza de su padre tras la muerte de este, siendo desde muy joven un gran aficionado a la filatelia y la numismática, en una época cuando los sellos postales empezaban a ser utilizados por diversos países del mundo e iniciaban su masificación.
Cultivando su afición, Von Ferrary tuvo el plan de formar la colección de sellos postales más amplia conocida, obteniendo inclusive las estampillas más raras y costosas que existieran. Si bien en tales años las emisiones postales en el mundo eran aún pocas, resultaba muy difícil obtener sellos de correos de ciertos países lejanos a Europa, pero Von Ferrary se lanzó al plan de crear una "colección universal", luchando por obtener ejemplares de cada emisión postal de cada país del mundo.
Embarcado en esta ambición casi desde 1880, Von Ferrary se contactaba con vendedores de estampillas de París y de toda Europa, pagando elevadas sumas por ejemplares de gran rareza, ganando el favor de los comerciantes en tanto rara vez el barón Ferrary regateaba precios ante un sello raro. Pronto sus álbumes reunieron piezas de casi todos los países del planeta, guardados en sobres transparentes, y contrató dos asistentes (uno encargado de cuidar estampillas y otro encargado de cuidar sobres y enteros postales) para mantener la colección constantemente actualizada.
Así este filatelista obtuvo piezas rarísimas de Europa, América y Asia, no dudando en viajar inclusive largas distancias para obtener ejemplares notables; sin embargo el barón Ferrary no era un comprador del todo ingenuo y estaba aconsejado por el comerciante francés Pierre Mahé (muerto en 1913) para comprar de inmediato los ejemplares que más escasearían con el paso del tiempo, postergando la adquisición de piezas más comunes, y conociendo de antemano la rareza de los sellos que buscaba, es así que von Ferrary obtuvo para su colección los dos sellos hasta hoy considerados los más raros (y costosos) del mundo: el único ejemplar del Tre Skilling sueco y el también único ejemplar del Magenta de Guyana.
La Primera Guerra Mundial interrumpió las actividades del barón von Ferrary, quien por un lado sentía gran afición por su casa en París y por residir en Francia, pero tampoco puede olvidar sus lazos sentimentales con Austria (de la cual es súbdito). Ante los trastornos de la lucha, abandona su hogar parisino y se establece en Suiza, aunque las autoridades francesas no le permiten trasladar más que el equipaje indispensable, debiendo abandonar su enorme colección filatélica (que suma ya cientos de álbumes y ocupa dos habitaciones) en la embajada austriaca en París.
Deseoso que su colección pudiera ser apreciada por el gran público, y consciente del impresionante valor de esta, von Ferrary redacta su testamento y ordena allí que su colección se entregue al Museo Postal de Berlín (único de su clase en esa época), confiando que tal institución tomaría buen cuidado de ella. El barón Von Ferrary murió en Lausana, Suiza, en mayo de 1917.
Tras el fin de la guerra en 1918, el gobierno francés resuelve embargar toda la colección de Von Ferrary como "reparaciones de guerra" y rehúsa entregarla al museo postal berlinés. Similar suerte corrió su colección numismática, muy valiosa aunque de tamaño mucho menor.
Las estampillas de la colección Von Ferrary fueron puestas en subasta por el gobierno de Francia entre los años 1921 y 1926, pero separadas en diferentes lotes, en 14 distintas sesiones, recaudando un total de 30 millones de francos franceses de la época, suma enorme para estar expresada sólo en estampillas. Ello implicó que la valiosísima colección (junto con sus piezas más raras y costosas) fuera fraccionada para siempre al venderse los sellos a distintos coleccionistas de Europa y América, interesados por la ya legendaria colección.
