1953年イギリス領タンガニーカ（当時）のアルーシャ出身。1972年ミュンヘンオリンピックに19歳で出場、1500m、3000m障害ともに予選で敗退した。1974年のニュージーランドのクライストチャーチで開催されたコモンウェルスゲームズの1500mでは、ニュージーランドのジョン・ウォーカーやケニアのベン・ジプチョといった強豪ランナーたちを相手に3分32秒2の世界新記録のタイムで優勝したレースは名勝負として有名である。
1975年には、1マイルで3分51秒0の世界新記録を樹立する。これは、アメリカのジム・ライアンが1967年から8年間破られずにいた記録を更新するものであった。しかしこの記録は、同年にウォーカーが3分49秒4を記録しすぐに破られる。
バイとウォーカーはその後も何度も対戦する。しかし、1976年モントリオールオリンピックは、タンザニアのボイコットのためオリンピックで対決することはなかった。だが、バイはオリンピックの直前に罹ったマラリアに苦しんでいたため、タンザニアがボイコットしていなくても参加できなかったかもしれなかった。
モントリオールオリンピックには出場できなかったが、バイは4年後のモスクワオリンピックでは3000m障害に出場。8分12秒5のタイムでポーランドのブロニスワフ・マリノフスキに次ぐ銀メダルを獲得した。
その他のレースでは、1973年のオールアフリカゲームズの1500mではケニアのキプチョゲ・ケイノと対戦し、金メダルを獲得。1978年の同大会でも連覇を果たしている。
バイは引退後、2003年に学校を設立、タンザニアの若いスポーツ選手の育成、またエイズの撲滅と貧困からの脱出に向けた教育にも力を入れている。
