Il fait ses débuts dans les majeures pour les Cardinals le . Appelé comme frappeur suppléant dans une partie face aux Astros de Houston, il réussit son premier coup sûr au plus haut niveau, un double face au lanceurBud Norris qui lui permet de récolter son premier point produit. Il termine par la suite le match au deuxième but[2], position inhabituelle pour lui qui était joueur d'arrêt-court dans les ligues mineures[3]. Il dispute 16 parties avec Saint-Louis avant de reprendre le chemin des mineures à la fin juin[4]. Au cours de son premier séjour avec les Cardinals, Kozma est utilisé 10 fois au deuxième but, trois fois à l'arrêt-court et une fois au troisième but[5].
Furcal est blessé toute la saison 2013 et les Cardinals doivent se tourner vers Kozma pour occuper l'arrêt-court à temps plein. Il s'acquitte mal de sa tâche[9] avec une faible moyenne au bâton de ,317 et un pourcentage de présence sur les buts de ,273 en 143 matchs joués, avec un circuit et 35 points produits. Sa moyenne au bâton ne s'élève qu'à ,026 en séries éliminatoires, avec à peine 5 coups sûrs en 35 présences au bâton[10], dont un 0 en 10 dans la Série mondiale 2013[11] perdue par Saint-Louis contre Boston. Les Cardinals engagent l'arrêt-court Jhonny Peralta[12] en prévision de la saison 2014, et Kozma ne dispute que 14 parties de l'équipe durant cette campagne.
En 2015, il dispute 76 matchs des Cardinals mais ne frappe que pour ,152 de moyenne au bâton.
