1899年（光緒25年）、府試において第1位の秀才となる。1901年（光緒27年）、南洋公学特別班で学び、その後、外交科に選抜された。このとき、蔡元培の下で学んでいる。翌年、郷試で挙人となった。まもなく帰郷し、1903年（光緒29年）に川沙小学などの学校を創設するなど、幅広く教育事業に携わった。さらに一時は日本にも留学している。
1905年（光緒31年）秋、蔡元培の紹介により、中国同盟会に加入した。翌年、蔡がドイツに留学したため、黄炎培が同盟会上海支部長となった。1908年（光緒34年）、両江総督端方に任用されると、その下で教育事業に関わった。しかし、密かに同盟会の仲間を匿うなどしている。
1909年（宣統元年）、清朝が予備立憲を開始すると、江蘇省常駐議員に当選し、省政調査を担当した。1911年（宣統3年）、辛亥革命により上海を革命派が手中にすると、黄は、江蘇巡撫程徳全を説得して革命派につかせた。さらに黄は、江蘇省民政司総務科長兼教育科長となり、翌年12月、教育司長に昇進した。
袁世凱は黄炎培の名声を聞いていたため、教育総長として2度にわたり招聘した。しかし、黄は袁への協力を望まず、これを拒否した。引き続き江蘇省で教育事業に取り組み、師範学校・普通中学など多くの近代的学校を創設して、全国でも最高の実績を残している。しかし1914年（民国3年）3月、江蘇都督張勲から侮辱を受けたことに怒り、辞任して帰郷した。
その後も、黄炎培は教育事業のための国内各地で調査研究を行う。1915年（民国4年）4月には、農商部が組織した視察団に加わってアメリカの教育事業を視察した。1917年（民国6年）には、日本とフィリピンへ職業教育について視察に赴いた。
同年5月、黄炎培は、蔡元培らとともに上海で中華職業教育社（「職教社」）を設立し、職業教育の研究・提唱のための機関とした。翌年には、上海で中華職業学校を創設し、鉄工・木工などの各科を設置して、多くの学生を育てた。黄らの活動には、陳嘉庚らの南洋華僑や実業界の支持も集まっている。
1922年には、北京政府も新たな学制の中で中等職業教育の地位を確定し、全国でも職業教育学校は1209箇所にまで増加した。その前の1921年（民国10年）12月、黄炎培は梁士詒内閣で教育総長に任じられ、翌年6月には周自斉内閣でも署理教育総長に任じられた。しかし、実際には就任しなかった。
1927年（民国16年）の上海クーデター（四・一二政変）では、中国国民党の上海当局から、「学閥」形成を目論んだという曖昧な理由で指名手配を受け、職教社も一時閉鎖させられてしまう。その後、蔡元培の仲介もあって蔣介石からも赦免されたため、黄炎培は教育事業を再開した。1931年（民国20年）から日本との戦いが始まる中で、黄は抗日のための各種民間組織を結成する一方、引き続き職業教育機関の配備に尽力している。
1938年（民国27年）、黄炎培は国民参政会参政員に選出される。以後、孫科・張群ら国民党人士に加え、周恩来・董必武ら中国共産党の人士とも交流を開始した。1941年（民国30年）3月、重慶において張君勱・梁漱溟らと中国民主政団同盟（後の中国民主同盟、「民盟」）を結成し、黄が常務委員会主席に選出された。しかし、この組織は蔣介石から激しく非難された。そのため、黄は批判をかわすこともあって、主席の地位を張瀾に譲っている。
1943年（民国32年）9月、蔣介石が国民参政会において憲政移行準備を表明すると、黄炎培は『憲政月刊』という雑誌を創刊するなどして、これに備えようとした。1945年（民国34年）1月、共産党が連合政府論を主張すると、黄炎培はこれを支持した。6月には、蔣の命により延安に赴いて毛沢東らと会談し、延安の現状も視察した。
日中戦争（抗日戦争）終結後の1945年（民国34年）9月、黄炎培は、商工界や文化界の人士とともに中国民主建国会（「民建」）を結成し、黄は常務理事となった。その後、黄は国共の対立を調停し、内戦に反対するための活動を開始する。しかし、民盟の同志である李公樸・聞一多を殺害されるなど、国民党の弾圧を受けてしまう。そのため、黄は国民党への反発を強め、国民大会への出席を拒否した。1946年（民国35年）12月、民建主席に選出されている。翌年10月、民盟は国民政府から非合法団体と指定され、翌月には活動停止に追い込まれた。それでも黄は、上海で雑誌を刊行するなどして反内戦の言論活動を続けた。
1949年（民国38年）2月、黄炎培は北京に向かい、共産党の歓迎を受けた。中華人民共和国成立後は、中央人民政府委員、政務院副総理兼軽工業部部長、中国人民政治協商会議副主席、全国人民代表大会常務委員会副委員長、民建主任委員、職教社社長などの要職を歴任している。だが共産党とは政治上の意見を異にしており、特に農民に対する「食糧の購入と販売を統制する」政策には反対だった。そのため毛沢東から「資本家の代弁者」呼ばわりされ、その後、すべての政府機関から排除され、人民代表大会と政治協商会議での肩書を残すのみとなった。
1965年12月21日、北京にて病没。享年88（満87歳）。
中華人民共和国北京市.svg){kind=small}
清江蘇省松江府川沙撫民庁（現・上海市浦東新区）
