Né dans une famille bourgeoise, aux opinions républicaines et « modérées », Armand Josse est le fils du député républicain-libéral Prosper Josse. Après avoir obtenu une licence en droit à l'université de Paris et suivi des études à l'École libre des sciences politiques, il intègre l'école de cavalerie de Saumur comme élève officier de réserve.
Lorsque la Seconde guerre mondiale intervient en 1939, il est capitaine de réserve dans l'infanterie coloniale. Armand Josse est affecté en Côte d'Ivoire au moment de la mobilisation, mais il participera ensuite à la campagne de France.
Il est fait prisonnier de guerre par les Allemands, mais parvient à s'échapper dix jours plus tard. Pour son courage, il obtient la croix de guerre avec deux citations.
Après la guerre, Armand Josse repart pour la Côte d'Ivoire : il est successivement employé de plantation à Divo, puis planteur à Sassandra. Il fonde la Fédération bananière de Côte d'Ivoire dont il est Président d'honneur, et occupe également le poste de vice-président du syndicat des planteurs de bananes de Sassandra. Il décide finalement de devenir avocat et s'installe à Abidjan comme avocat-défenseur auprès de la cour d'appel. Désireux d'améliorer la situation en Côte d'Ivoire, Armand Josse se présente aux élections pour le conseil général. Avec ses colistiers il obtient près de 90 % des suffrages du premier collège. Armand Josse se présente alors aux élections au Conseil de la République en 1953, poursuivant ainsi la carrière que son père, ancien député d'Eure-et-Loir, a dû abandonner à cause de son vote de 1940.