Né à Ipoh, en Malaisie, il vint au Sri Lanka à l'âge de quatre ans, et étudia au Union College, Tellippalai (Jaffna), puis au St. Thomas' College (Mount Lavinia, Sri Lanka). Inscrit au barreau à l'âge de 25 ans, il épousa deux ans plus tard Emily Grace Barr Kumuarakulasinghe.
S. J. V. Chelvanayakam commença à participer aux activités du All Ceylon Tamil Congress pendant la lutte pour l'indépendance, devenant le « numéro deux » du parti. Il fut élu au parlement sri lankais lors des élections de 1947.
L'ACTC était déchiré entre S. J. V. Chelvanayakam and G.G. Ponnambalam, qui recherchait une plus grande coopération avec le gouvernement du United National Party.
S. J. V. Chelvanayakam rompit avec G. C. Ponnambalam en signe de protestation contre certaines positions politiques de celui-ci, en 1949, lorsque la citoyenneté fut refusée aux Tamouls du haut-pays. Il fonda alors un nouveau parti plus agressif, le Federal Party.
Vers les années 1970, S. J. V. Chelvanayakam était devenu amer du fait de son incapacité à obtenir des concessions significatives de la part des Cingalais, et il commença à devenir sensible aux arguments de la cause séparatiste tamoule au Sri Lanka. Le Federal Party ainsi que d'autres partis fusionnèrent pour devenir le Tamil United Liberation Front, avec pour objet le séparatisme, et pour chef S. J. V. Chelvanayakam.
Souffrant de la maladie de Parkinson, malgré une opération chirurgicale réussie à Édimbourg en 1961, il mourut chez lui en 1977. Il est enterré à Jaffna.
