Fils d'Abraham ibn Ezra, il se fait une réputation de poète dès son jeune âge, lorsqu'il habite probablement encore en Espagne. Juda al-Harizi[1] dit de lui qu'à cette époque, « Isaac puisait, comme son père, aux sources de la poésie, et une partie de la brillance des poèmes du père brille dans les chants du fils. »
Il quitte probablement l'Espagne avec son père, avant 1140. Selon un témoignage, il se trouve aux côtés de son beau-père, Juda Halevi, dans le bateau qui fait route vers Alexandrie. Cependant, si Juda Halevi a en vue la terre d'Israël, Isaac se rend à Bagdad. En 1143, il est le protégé d'Abu'l-Barakāt al-Baghdādī (Nathanael). Lorsque celui-ci se convertit à l'islam, Isaac ibn Ezra suit son exemple. Selon Al-Harizi[1], « lorsqu'il arriva dans les pays d'orient, la gloire de Dieu ne brillait plus sur lui ; il se débarrassa des habits précieux du judaïsme, et en revêtit d'autres, étranges. » Abraham ibn Ezra se lamente dans deux élégies sur la conversion de son fils ; l'un de ces poèmes a été composé trois ans après l'abandon du judaïsme par Isaac, ainsi qu'il ressort de la seconde strophe. La nouvelle pourrait donc avoir pris du temps à parvenir à Abraham ibn Ezra.