Descendant d'une famille de fabricants d'armes et de soldats (son père est un ancien militaire au service de la France jusqu'en 1766 où il devient gouverneur du district d'Erlach, son frère ainé, Abraham Vincenz, inspecteur militaire et gouverneur de la place de Berne), il s'engage à 18 ans dans un bataillon bernois engagé en Hollande où il reçoit sa formation militaire et obtient le grade de major.
Il participe aux campagnes contre les armées françaises révolutionnaires comme aide de camp du prince d'Orange avant de retourner en Suisse en 1795 après la défaite de la Hollande, accompagné de ses compatriotes. En 1798, devant l'avancée des troupes françaises en Alsace et en Valais, il s'engage dans le corps de milice avec le grade d'adjudant-chef et soumet la proposition d'une contre-attaque sur le sol français. Sa proposition n'est pas retenue par les officiels qui préfèrent négocier. Lorsque finalement la décision d'une contre-attaque est prise, la ville de Soleure capitule, provoquant une confusion générale et forçant la division de Rudolf von Grafenried à se replier sur Berne, manœuvre confiée en grande partie à Weber à la suite de la défaillance nerveuse du divisionnaire.
