Fils aîné du cordonnier Samuel-Henri Philippin et d'Augustine Humbert-Droz, Jules Philippin n'a pu fréquenter l'école primaire du Locle que temporairement faute d'argent. En 1830, il déménage à l'orphelinat de Neuchâtel, où il complète un apprentissage de fabricant de boîtiers quatre ans plus tard. De 1834 à 1839, le Philippin est secrétaire du notaire Jacottet, et de 1836 à 1838 pour la commune bourgeoise de Neuchâtel. En outre, il travaille à partir de 1839 comme inspecteur du génie civil.
Il étudie seul le droit, ce qui lui permet de passer l'examen de notaire en 1840. En 1848, il doit démissionner de son poste d'inspecteur du génie civil parce que les radicaux le soupçonnent d'être un partisan du gouvernement monarchiste prussien récemment renversé. Il commence alors à travailler comme avocat et regagne la confiance en rejoignant le Parti radical-démocratique en 1849. Il travaille ensuite comme procureur pendant près de deux ans.
Philippin est très intéressé par les chemins de fer. À partir de 1852, il travaille presque exclusivement pour la compagnie ferroviaire franco-suisse et, en tant qu'avocat, contribue de manière significative à sa création. Il est à la fois secrétaire général et conseiller juridique de l'entreprise et, à partir de 1856, il dirige les procédures d'expropriations. Après que le réseau ferroviaire est achevé, il est membre de la direction de 1861 à 1864. En 1865, la Compagnie du Franco-Suisse a conclu une joint-venture avec la Compagnie de Suisse Occidentale, après quoi il rejoint cette dernière. Il l'a dirigé de 1871 à 1873 en tant que président du conseil d'administration. Philippin estime que la fragmentation du réseau ferroviaire suisse n'est pas rentable. En 1862, il essaye en vain de fusionner le Franco-Suisse avec le Jura industriel, ce qui aurait dû aboutir à une société active dans toute la Suisse. Il est ensuite membre des conseils d'administration des compagnies du Franco-Suisse et du Jura bernois.
Il est également membre du conseil d'administration de la Caisse d'épargne de Neuchâtel et d'une société anonyme pour la construction d'appartements locatifs. Dans l'armée, il a atteint le grade de colonel.
La carrière politique de Philippin débute en 1852 lorsqu'il est élu au Grand Conseil du canton de Neuchâtel, dont il est membre jusqu'en 1875. Il le préside de 1867 à 1869, 1871 à 1872 et en 1874. En tant que membre de la Commission juridique du Grand Conseil, il est l'un des co-auteurs du code civil cantonal. Il se présente pour la première fois comme candidat au Conseil national en 1854, mais n'est pas élu. Au lieu de cela, le Grand Conseil l'élit en 1856 comme l'un des deux représentants du canton de Neuchâtel au Conseil des États, dont il est membre pendant quatre ans. Parallèlement, en 1857, en tant que membre d'une commission spéciale de la commune de Neuchâtel, il établit le règlement municipal et un an plus tard, il siège à l'Assemblée constituante cantonale.
Lors des élections fédérales de 1860, Jules Philippin est élu au Conseil national. Il est ensuite réélu sept fois de suite. Au Conseil national, il préside les commissions de révision constitutionnelle de 1872 et 1874, fait campagne en vain pour l'abolition de la peine de mort et enquête sur la fraude électorale lors des élections fédérales de 1881 dans le canton du Tessin. En 1866/67 et en 1878, il est président du Conseil national. Sur mandat du Conseil fédéral, il mène des négociations à l'étranger sur des questions ferroviaires, militaires et d'émigration.
Au niveau municipal, Philippin est membre du Conseil général de Neuchâtel de 1865 à 1867.
Finalement, il est membre du Conseil d'État de Neuchâtel de 1875 à 1882 et à ce titre dirige le département des constructions.
