Il commence sa carrière professionnelle en 1910 avec les McKeesport Tubers en Ohio-Pennsylvania League. Il enregistre 18 victoires avant d'être recruté par les Highlanders de New York (futurs Yankees) en Ligue majeure.
Il signe 14 victoires pour 14 défaites lors de sa première saison chez les Highlanders. Caldwell connait ensuite deux saisons moyennes en raison de problèmes de santé puis réalise en 1914 sa meilleure saison : 17 victoires, 9 défaites, et une moyenne de points mérités de 1,94.
En 1916, ses problèmes d'alcoolisme lui valent une longue suspension de sept mois par son équipe. Mêmes problèmes la saison suivante avec des soucis judiciaires pour vol et abandon du foyer familial. Caldwell ne termine pas la saison 1918 chez les Yankees. Il préfère quitter le club et trouve un travail dans un chantier naval, principalement pour éviter ses obligations militaires car un emploi de ce type l'exemptait automatiquement. Les Yankees ne donnent pas leur aval à ce départ et décident de le transférer chez les Red Sox de Boston.
Après un début de saison très décevant chez les Red Sox, Caldwell est libéré de son contrat dès juillet 1919. Il signe alors chez les Indians de Cleveland. Sous la conduite de Tris Speaker, il retrouve son niveau et signe en fin de saison cinq victoires pour une défaite. Il signe même un match no-hitter le 10 septembre face à son ancien club, les Yankees.
Lors de cette fin de saison 1919, il est atteint par la foudre en plein match face aux Athletics de Philadelphie (24 août). Il refuse toutefois de quitter le terrain après avoir été un moment inconscient, et remporte le match[1].
Lors de sa première saison complète pour les Indians, il enregistre 20 victoires pour 10 défaites et remporte les Séries mondiales. Son apport lors de la série finale est toutefois marginal : il est lanceur partant du match trois, mais quitte le terrain lors de la première manche après un out, un but sur balle, deux coups sûrs et un point accordés.
Caldwell devient essentiellement lanceur de relève en 1921 puis quitte les ligues majeures pour jouer en ligues mineures chez les Blues de Kansas City.
