ニューヨーク・スタテン島でオルムステッド・シニアとメアリーの息子、ジョン・チャールズ・オルムステッドの異父兄弟として生まれた。
ロクスベリー・ラテン・スクールを1890年に卒業後、有名な父の弟子として、シカゴ万国博覧会（1893年）、ノースカロライナ州の資産家ジョージ・ヴァンダービルトの最大規模不動産開発地であったビルトモア・エステートの初期段階という、父の仕事で2つの重要プロジェクトでキャリアを始めた。その後ハーバード大学に進学し、1894年には同大で学士号を取得、1895年に父の事務所のパートナーとなった。その後まもなく父が引退、ジュニアと弟ジョンらが会社を継いだ。通常、オルムステッド兄弟といった場合はこのジュニアとジョンを指す。
その後半世紀の間、オルムステッド兄弟の会社はアメリカ全土のランドスケープ・プロジェクトの数千を手がけている。特に1890年代には、南北戦争後の南部都市アトランタ、シャーロット、ナッシュヴィルなどは成長するにつれダウンタウン地区が市街地として発展し、住宅地を周辺部に追いやることになる。このため南部都市の起業家らは、所有の郊外地開発をオルムステッド兄弟やジョン・ノーレン (John C.Nolen) といった有名どころのデザイナーに委託し、鉄道建設とあわせて郊外造成地を数多く出現させていくことになる。
1900年には、母校ハーバード大学へ造園教育の正規課程を開設のため招聘される（現ハーバード大学デザイン大学院）。1901年、セオドア・ルーズベルト大統領によって、コロンビア特別区の一般的にマクミラン委員会として知られている上院パーク改善委員会のメンバーとしてダニエル・バーナム、チャールズ・マッキムとオーガスタス・セントゴーデンスなどとともに任命され、チャールズ・ランファンのワシントンD.C.都市計画を前世紀の旧計画をみなし、計画条件を現在の状況に合わせて再構成する事業に参加した。
1910年、アメリカ市民協会から国立公園の新担当局開設についての顧問に招聘される。1920年、都市圏における公園システムや全国スリーンウェイズの計画を策定する。1928年、カリフォルニア州の公園とレクリエーション場を管理するカリフォルニア州立公園委員会は、オルムステッドに長期的な目標の提言を求め、取得と国家の発展のためのガイダンスを提供して公園や地域に関する州全体の調査を担当する。
ジョンとオルムステッド・ジュニアのオルムステッド兄弟社は、1930年代初頭のピーク時にはほぼ60名を採用した。オルムステッド・ジュニアの最後の遺族の一員は、1949年に引退している。
