Kaleta fait ses débuts professionnels avec les Black Hawks de Chicago en 1941. Il passe les trois années suivantes avec les Calgary Currie Army lors de la seconde Guerre mondiale et est nommé dans la première équipe d'étoiles en 1943 et 1944. Après la guerre, il revient jouer avec les Black Hawks et enregistre sa meilleure saison dans la LNH en 1945-1946 où il marque 46 points en 49 matchs. Il est échangé aux Rangers de New York avec Emile Francis contre Jim Henry le . Il termine sa carrière professionnelle en 1955 dans la WHL où il a occupé brièvement le poste d'entraîneur-joueur des Quakers de Saskatoon en remplacement de Doug Bentley, son coéquipier.
Kaleta est connu pour être à l'une des origines du terme coup du chapeau en hockey. D'après la légende, lors d'un match à Toronto le , Kaleta veut acheter un nouveau chapeau à un vendeur local, Sammy Taft, mais n'ayant pas assez d'argent pour le régler, Taft lui propose un marché: si Kaleta marque 3 buts contre les Maple Leafs, il lui offre un chapeau gratuit. Ce soir-là, Kaleta marque 4 buts et remporte le chapeau[2].