于謹の子として生まれた。西魏の大統末年、父の功績により平昌県伯の爵位を受けた。直閤将軍を初任とした。後に広都県公に改封された。北周が建国されると、安武太守に累進した。郡民の張善安と王叔児が財産をめぐって争訟したとき、于義は「太守の徳が薄く、任にたえないことが原因で、その罪ではない」と言って、自分の家財を取って請求の倍をふたりに与え、諭して去らせた。張善安らはおのおの恥じて他州に移貫した。于義は建平郡公に進んだ。北周の明帝・武帝の代に、西兗州・瓜州・邵州の刺史を歴任した。たびたび征戦に従って、開府儀同三司に進んだ。
宣帝が即位すると、政治が日増しに乱れたので、于義は上疏して諫めた。宣帝は于義の上表を見て、「于義が朝廷を誹謗している」と言った。御正大夫の顔之儀が「いにしえの賢王は誹謗の木を立て、敢諫の鼓を置いて、なお意見が聞こえないことを恐れたものです。于義の言を罪としてはいけません」と述べると、宣帝は納得した。
楊堅が宰相となり、王謙が乱を起こすと、楊堅はこれを撃つ将軍を誰にするか高熲に諮問した。高熲は「于義を元帥とするのがよろしいでしょう」と答え、楊堅ははじめこれを承認していた。しかし劉昉が「梁睿の位と声望が高いので、于義の下に置いてはいけません」と進言したので、楊堅は取りやめた。そこで梁睿を元帥とし、于義を行軍総管とした。王謙の部将の達奚惎が兵を率いて開遠に拠ったので、于義は左軍を率いてこれを撃破した。まもなく潼州総管となり、上柱国の位を受けた。ときに兄の于翼が太尉となり、弟の于智や兄の子の于仲文も上柱国となって、于氏は貴戚と称された。一年あまりして、于義は病のため免職され、長安に帰った。数カ月後、50歳で死去した。豫州刺史の位を追贈され、諡を剛といった。
子の于宣道・于宣敏は、ともに名を知られた。