Il poursuit ses études musicales avec son père, le violoniste concertiste Albert Markov. À l'âge de huit ans, il joue déjà en soliste avec des orchestres et interprète des doubles concertos avec son père. Il émigre aux États-Unis avec ses parents et reçoit la nationalité américaine en 1982.
Il fait ses débuts en récital à New York au Carnegie Hall, puis au Avery Fisher Hall sous la direction de Christoph Eschenbach avec l'orchestre du festival Mostly Mozart.
Médaille d'or du Concours international de violon Niccolò-Paganini et récompensé par le Avery Fisher Career Grant en 1987, Alexander Markov s'est produit avec de prestigieux orchestres internationaux tels que l'orchestre de Philadelphie, l'orchestre de Paris, l'orchestre de Montréal, l'orchestre de la BBC et Orchestre de Détroit, ainsi que l'Orchestre du Festival de Budapest.
Il a également enregistré cinq disques pour le label Erato/Waener Classics et il apparaît dans le film L'Art du Violon.
Yehudi Menuhin a dit à son sujet : « Il est, indéniablement, le plus brillant et le plus inspiré des violonistes actuels : Alexander Markov laissera sans aucon doute sa marque dans le cœur des mélomanes du monde entier et dans les annales des virtuoses du violon de notre époque. »
