Il arrête sa carrière en 1956 à la suite de blessures au dos et aux jambes.
Rosen est considéré comme le troisième meilleur joueur d'origine juive de tous les temps derrière Sandy Koufax et Hank Greenberg. Souvent insulté par des joueurs et des spectateurs adverses sur ses origines juives, Rosen n'hésitait pas à en venir aux mains, ou plutôt aux poings. Il fut, il est vrai, boxeur durant son adolescence.
