父の韋賢は魯国騶県から平陵に移住したが、彼は杜陵に移住した。しかし臨終にあたり父と同じ平陵に葬られることを願い許されている。
父の任子により郎となった。学問を好み父の学業を継いだ。人にへりくだり、貧しく賤しい者も敬ったので評判になった。経書に明るいことで諫大夫に抜擢され、大河都尉となった。
父の韋賢が死亡した際、跡を継ぐべき兄の韋弘は獄に下されていた。韋賢の家族や門下生は韋賢の命令と偽り、韋玄成を後継ぎとするよう申し出た。しかし韋玄成はそれが韋賢本人の考えではないことを知り、精神に異常をきたしたと偽り列侯の扶陽侯を継承しようとしなかった。世間では兄に爵位を譲ろうとしたものだと噂した。丞相府がそのことについて取り調べ、実際には病んでいないと韋玄成を弾劾したが、宣帝は弾劾してはならないと詔を下し、彼に謁見した。韋玄成はやむをえず列侯を受けた。
その後河内太守[1]、衛尉・太常と昇進したが、楊惲が誅殺された際に友人であったために官を免じられた。その後、恵帝廟の祭祀に侍した際に騎乗したまま廟のそばまで来たことを弾劾され、爵位を削られて関内侯にされた。
宣帝が寵愛する中子である淮陽王劉欽を後継にするのを断念する際、淮陽王に兄への謙譲を教えるために韋玄成を淮陽王の中尉とした。また、同じころ石渠閣で五経の異同について他の儒者たちと議論した。
元帝が即位すると、少府に昇進し、太子太傅となり、御史大夫に至った。永光2年（紀元前42年）、前任者の于定国の引退により丞相となり、扶陽侯に復帰した。漢において親子で丞相となったのは韋賢・韋玄成と周勃・周亜夫、曹操・曹丕の三組だけである。
丞相としては世俗の浮沈に従い、へつらいであったと評されている（『史記』張丞相列伝補）。彼が丞相の間に「天子七廟」の制に基づく皇帝廟制度の整理が始まっている。
建昭3年（紀元前36年）に没した。諡は共侯。
韋玄成の一族からは二千石の高官を十数人輩出し、兄の韋弘の子の韋賞は哀帝の時期に大司馬車騎将軍となっている。