Nació en Madma (a pesar de que algunas fuentes señalan a Kufa), y era hijo de un carnicero. Fu esclavo de la famosa cantante Atika bint Shudha, quien a temprana edad notó su talento y le entrenó. Después lo vendió al gran músico de la corte Ibrahim al-Mawsili, que también apreció su talento, completó la educación de Mukhariq y le consideró su sucesor. Mukhariq entró en los círculos de la corte después de que Ibrahim le envió a entretener a los poderosos Barmáquidas con algunas de las nuevas composiciones de Ibrahim. Los Barmáquidas quedaron tan entusiasmados con su actuación, que Ibrahim se lo regaló a al-Fadl ibn Yahya al-Barmaki, que después lo regaló al califa Harún al-Rashid (r. 786–809). El califa quedó tan impresionado por Mukhariq, que le concedió la libertad y le mostró su favor con regalos y muestras de estima, como dejarle sentarse en el mismo asiento que él, o colocarse delante de la cortina que normalmente separaba a los músicos de la corte de la presencia califal. Mukhariq continuó disfrutando del favor de los sucesores de Harún hasta su muerte en 844/5. Tras la muerte de su antiguo maestro Ibrahim al-Mawsili, y de Ibn Jami, en la época de al-Ma'mún (r. 813–833) Mukhariq era claramente el cantante más eminente del momento, rivalizando como músico con el príncipe abasí Ibrahim ibn al-Mahdi, con Ishaq al-Mawsili (hijo de Ibrahim), y Alluya.
Mukhariq estaba adscrito a una escuela, empezada por Ibrahim ibn al-Mahdi y muy en boga en aquel tiempo, en la cual se alteraban las notas o el ritmo de una canción en cada actuación. Esto según se dice decepcionó al califa al-Wathiq (r. 842–847), que también era compositor, cuando se le pidió que interpretara una de las composiciones del califa. Autores posteriores en el Kitab al-Aghani y el Iqd al-farid rechazaron esta escuela, y la consideraron la causante del declive de la música tradicional árabe. A pesar de tal crítica, Mukhariq disfrutó de una firme reputación como uno de los mejores cantantes de su tiempo, con la calidad de su voz cautivando a las audiencias. Según el historiador del siglo XV Ibn Taghribirdi, por ejemplo, mientras Ibrahim e Ishaq al-Mawsili "cantaban bien con el acompañamiento del laúd, en un trabajo vocal puro Mukhariq los eclipsaba a ambos". Tal era su eminencia que el estudioso del siglo X al-Farabi solo menciona dos músicos de todo el periodo abasí, Muhkariq e Ishaq al-Mawsili.
Mukhariq tuvo varios alumnos, siendo los más conocidos Ahmad ibn Abdallah Abi'l-Ala, y Hamdun ibn Isma'il ibn Dawud al-Katib, patriarca de una familia de músicos.
