1841年にフランクフルト・アム・マインで生まれ、同地の職業高校を経てカールスルーエ大学に進んだ。その後、化学メーカーのマイスター・ルシウス・ウント・ブリューニング（Meister Lucius und Brüning, 今日のヘキスト）に勤め、フクシンの製造を監督し、ヨウ素を用いた紫色の染料の研究を行ったが、この研究により目の病気を患い、研究の第一線から退いた。
1862年にハイデルベルク大学のロベルト・ブンゼンの下で博士号を取得した。1868年に教授資格試験の論文を書き、ライプツィヒ大学の教授となった。1870年から1877年にはケーニヒスベルク大学、1878年から1906年にはジュネーヴ大学の教授を務めた。この時期は、有機化学の構造理論と命名が発展していた時期で、グレーベは、ベンゼン環の置換に関する「オルト」「メタ」「パラ」という術語を作った。
グレーベは、1826年にフランスの化学者ピエール・ジャン・ロビケがアカネの根から単離していたアリザリンを、1868年にカール・リーバーマンと共に合成した。この化学合成は、ドイツおよび世界の染料工業のマイルストーンとなり、またアカネの根を生産していたフランスの農業部門の崩壊の予兆となった。
1927年にフランクフルトで死去した。
グレーベの教え子には、メチリジンホスファンの研究で死亡し化学研究の初期の犠牲者の1人となったヴェラ・ボグダノフスカヤがいる。グレーベの下での彼女の博士論文は、1892年のジベンジルケトンに関するものであった[1][2]。
