1937年、ニューヨーク市の生まれ。父親はテレビジョンの修理業者で、母親は主婦であった。その後、クイーンズ州レゴパークに移り育ち、高校を卒業。シラキュース大学で学士号をオハイオ州立大学で修士号を取得した。
小さなときから放送好きだったシルバーマンがオハイオの大学院で学んだのは番組制作ではなく、番組編成だった。400ページを超す修士論文はABCテレビのプライムタイム番組編成について分析していた。調査部にいたフレッド・ピアス（後にABC社長になる）はアルバイトでいたシルバーマンと友人となり、この論文を読みその能力を高く買っていた。
卒業後、最初はシカゴの独立局WGN-TVに就職。2年後にニューヨークのWPIXに移った。
当時とすれば高額の年俸でスカウトされ1963年、CBSテレビに入社。任されたのはデイタイム（日中）の番組編成だった。この7年後の1970年、プライムタイム番組編成兼副社長に就任。すぐさま番組づくりで頭角を現し「ペリー・メイスン」シリーズをヒットさせ[1]た。
すると同業のABCテレビがシルバーマンの高視聴率を獲得する能力を見込んだヘッドハンティングして移籍、ABCテレビでは娯楽部門社長としてモントリオールオリンピック独占中継権を獲得したほか、「ルーツ」、「チャーリーズ・エンジェル」などのテレビドラマをヒットさせて、視聴率競争で3位だったABCテレビを1位に引き揚げる功績をあげた[2]。
長い下積みを経て1976年に、最初の女性の夜のネットワークニュースアンカーとなったバーバラ・ウォルターズをNBCから引き抜いたのもシルバーマンとされる。
1978年6月、ABCテレビとの契約が切れると視聴率低迷にあえいでいたNBCテレビに移籍。NBCでは1979年から「ミセス・コロンボ」、「原子力超特急スーパートレイン」を送り出すものの大失敗に終わる。1981年にNBCテレビを離れると、独自の番組制作会社を設立しテレビ業界への影響力を保ち続けた。2020年1月30日、癌のためロサンゼルスの自宅で死去。82歳。
