Né à San Bernardino en Californie, Lemon est recruté par les Indians avant la saison 1938. Il fait ses débuts en Ligue majeure en 1941 comme joueur de troisième base, poste qu'il occupe comme suppléant jusqu'en 1942 (cinq matches joués en 1941 et cinq autres en 1942). De retour de ses obligations militaires en 1946, il devient lanceur partant. Il signe vingt victoires en 1948, aidant Cleveland à remporter le fanion de champion de la Ligue américaine. En série mondiale contre les Boston Braves, il lance deux victoires et remporte le titre.
Sélectionné pour la première fois au match des étoiles en 1948, il participe également aux six éditions suivantes. Six fois présent dans le top 10 des votes pour le trophée du MVP de la Ligue américaine entre 1948 et 1956, il termine cinquième en 1948, 1950 et 1954.
À noter qu'au bâton, il signe 37 coups de circuit. C'est le deuxième meilleur total pour un lanceur en MLB.
Après sa carrière de joueur, il devient instructeur pour les Indians, les Philadelphia Phillies puis les California Angels. Il est ensuite champion de la Pacific Coast League en 1966 comme manager des Seattle Angels, puis est promu manager des Kansas City Royals en 1970, en milieu de saison. Avec les Royals, il parvient à compléter la première saison gagnante (plus de victoire que de défaites) en 1971. Il reçoit le trophée du meilleur manager de l'année.
Lemon est instructeur des lanceurs chez les New York Yankees en 1977 avant de prendre en charge les Chicago White Sox en tant que manager. Il reçoit son deuxième trophée du meilleur manager de l'année après une belle saison chez les Sox, mais il est remercié en milieu de saison 1977. Il rejoint les Yankees, au poste de manager.
Dominés par les Boston Red Sox à la mi-saison (14 victoires de retard pour les Yankees), les Yankees renversent la tendance lors de la seconde partie de la saison, coiffant leurs rivaux sur le fil pour le gain du fanion de la Ligue américaine. Après cette course poursuite, les Yankees de Lemon remportent les World Series 1978 en s'imposant contre les Los Angeles Dodgers.
Marqué par le décès de son fils lors de l'hiver 1979, Lemon est renvoyé. Il est appelé à la rescousse en fin de saison 1981, mais échoue à gagner les séries mondiales contre les Dodgers. Il est remercié après seulement un match en 1981, portant son total de match comme manager des Yankees à 172 pour 99 victoires.
