Johannes Käbin est né en Estonie de parents estoniens mais il parlera par la suite très mal sa langue maternelle car il grandit en Russie. En 1910, sa famille s'installe à Saint-Pétersbourg, en Russie où elle s'intègre complètement. En 1923, Käbin devient membre du Komsomol et en 1927, il adhère au Parti communiste où il fait carrière à Leningrad et à Omsk et travaille comme enseignant à Moscou. Après la Seconde Guerre mondiale, Käbin est nommé responsable adjoint de la propagande au Comité central du Parti communiste d'Estonie et directeur de l'Institut historique du Parti.
En 1950, il remplace Nikolaï Karotamm à la tête du Parti communiste estonien. Considéré initialement comme un pur stalinien, il réussit, durant les 28 ans qu'il occupe ce poste, à s'adapter aux changements politiques à Moscou tout en consolidant sa position.
Premier secrétaire du PC estonien entre 1950 et 1978, Käbin est également membre du comité central du Parti communiste soviétique de 1952 à 1978. En 1978, il est remplacé à la tête du Parti par le pro-moscovite Karl Vaino. De 1978 à 1983 Käbin est président du Soviet suprême de la République socialiste soviétique d'Estonie et occupe ainsi, du point de vue protocolaire, le poste de rang le plus élevé du pays.
Johannes Käbin est considéré comme un communiste relativement modéré mais il a néanmoins contribué à la consolidation du régime soviétique en Estonie.
