Il était un des élèves de Béla Bartók à l'Académie de musique Franz-Liszt de Budapest. Son association avec Bartók a été pour lui une bénédiction et une malédiction à la fois. Il a fait d'importants efforts pour rendre la musique de Bartók plus accessible, en arrangeant des œuvres choisies pour différentes combinaisons d'instruments, ce qui lui a apporté malheureusement beaucoup plus d'attention que ne l'ont fait ses propres compositions.
Sur la demande des héritiers de Bartók, il termina (sinon compléta) le Concerto pour alto de Bartók, laissé inachevé à la mort brutale du compositeur en 1945. Deux ou trois d'années d'efforts lui furent nécessaires pour rassembler les esquisses du maître hongrois et transformer le tout en une pièce jouable, devenue aujourd'hui une des pièces les plus importantes du répertoire des altistes.
Ce fut lui aussi qui acheva les 17 mesures restantes du Concerto no3 pour piano de Bartók, laissé inachevé lui aussi mais duquel le compositeur avait laissé des notes.
Une des œuvres les plus célèbres de Serly est la Rhapsodie pour alto et orchestre. C'est notamment dû au fait qu'elle est souvent couplée en concert ou sur les enregistrements au Concerto pour alto de son maître plus connu.
