Joueur des Bisons, l'équipe de baseball de l'université Lipscomb à Nashville, Caleb Joseph est repêché par les Orioles de Baltimore au 7e tour de sélection en 2008 [ 2] . Il évolue plus de 6 saisons en ligues mineures [ 3] avant de faire ses débuts dans le baseball majeur à l'âge de 27 ans, le 7 mai 2014 . Les Orioles font appel à lui pour amorcer au poste de receveur un match face aux Rays de Tampa Bay en remplacement de Matt Wieters , blessé[ 4] .
Tirant profit de la blessure de Wieters[ 5] , Joseph est le receveur le plus utilisé par les Orioles en 2014 [ 6] , en plus de jouer en séries éliminatoires [ 7] . En 82 matchs de saison régulière , Joseph frappe pour ,207 avec 9 circuits et 28 points produits . Il excelle surtout en défensive[ 8] , [ 9] : il mène la Ligue américaine en retirant 40 % des coureurs adverses en tentative de vol , et seul Yadier Molina des Cardinals de la Ligue nationale fait mieux que lui à ce chapitre dans les majeures[ 10] . Joseph récolte son premier coup sûr dans le baseball majeur le 13 mai 2014 aux dépens du lanceur Drew Smyly des Tigers de Détroit [ 11] et frappe son premier coup de circuit le 22 juin suivant contre David Huff des Yankees de New York [ 12] .
Son coéquipier Matt Wieters étant blessé la majeure partie de l'année[ 13] , Joseph est le principal receveur des Orioles en 2015 et il dispute 100 matchs[ 14] .