ウプサラで生まれた。父親のOlof Rudbeck den äldre（オラウス・ルドベック）はウプサラ大学の医学の教授で、学長も務めた人物である。父親から教育を受けた後、ウプサラ大学で医学を学んだ。1686年に、『植物の繁殖に関する議論』（"Disputation De propagatione plantarum"）を出版し、ウプサラ大学の助手となった。1687年からイギリス、オランダ、ドイツに留学し、ユトレヒト大学で博士号を取得した。1691年にスウェーデンに帰国し、翌年、ウプサラ大学で父親が就いていた解剖学と植物学の教授職を継いだ。3度（1708年、1715年、1724年）ウプサラ大学の学長を務めた。ウプサラの大司教となる ベンセリウス（Erik Benzelius）と1719年にウプサラのスウェーデン王立科学協会を設立した。
1695年にラップランドの科学調査を行い、12巻からなる著書の出版を企画し、1701年に第1巻 "Nova Samoland, sive Lapponia illustrata"が出版されたが、1702年のウプサラの大火で残りの資料は失われた。
