散騎常侍の孫宝の子として生まれた。北魏の秘書監の孫恵蔚の族曾孫にあたる。孫恵蔚の子が早逝したため、その蔵書の多くが家に引き取られた。霊暉は幼くして学問を好み、孫恵蔚の残した記録をたよりに研究し、師友を求めなかった。やがて三礼や春秋三伝に通じるようになった。鮑季詳や熊安生が疑問点を霊暉に質問すると、霊暉の解説が明快であったため、ふたりは異を唱えなかった。霊暉は冀州刺史により秀才に推挙され、射策に応じて高い成績で及第し、員外将軍に任じられた。後に儒学の技能で選抜されて、太学博士に任じられた。北徐州治中に転じ、潼郡太守に転じた。
天統年間、後主が南陽王高綽の師にふさわしい者を朝臣に推挙させると、吏部尚書の尉瑾が霊暉を推薦したことから、霊暉は召し出されて国子博士となり、高綽に経書を教授した。高綽は文章や学問を好まなかったが、霊暉を尊重して、その府の諮議参軍に任じた。高綽が定州刺史となると、霊暉はその赴任に従った。高綽の乱行がひどくなったが、霊暉は黙って憂慮憔悴するばかりで、諫めることはできなかった。高綽は管記の馬子結を諮議参軍とするため、霊暉を南陽王師とした。朝廷は王師が三品の階位の官で、霊暉には合わないと上奏したが、後主は高綽の求めるままに任用させた。高綽が大将軍となると、霊暉は王師のまま大将軍司馬を兼ねた。574年（武平5年）、高綽が殺害されると、霊暉は罷免された。高綽の死後、7日ごとに100日が終わるまで、霊暉は高綽のために僧に依頼して斎を設け、読経して弔わせた。霊暉は北斉滅亡後数年して死去した。
子に孫万寿があった。