Comenzó su carrera de dirección cuando fue nombrado director asistente de la Orquesta Sinfónica de Boston[1] en 1971, después de haber actuado como concertino[2] con dicha orquesta durante nueve años, renunciando a su puesto luego de una serie de desacuerdos con el director Seiji Ozawa sobre el estilo interpretativo que éste eligió para la orquesta.[3] Joseph Silverstein fue director musical interino de la Orquesta Filarmónica de Florida y director principal invitado de la Northwest Chamber Orchestra de Seattle.[2] Ha sido asesor artístico de orquestas como la Orquesta Sinfónica de Hartford, la Orquesta Sinfónica de Kansas City, Orquesta Sinfónica de Baltimore y las de Toledo, Florida, Alabama, Winnipeg, Oakland y Louisville, todas ellas en Estados Unidos. Ha sido director musical de las Orquestas Sinfónicas de Chautauqua[4] y de Utah, de esta última es director laureado.
Además de director, Silverstein fue un activo solista, pedagogo e intérprete de música de cámara. Durante las últimas temporadas ha actuado en recitales en Boston, Nueva York, Cleveland y Detroit. En 1962 organizó los Boston Symphony Chamber Players y es intérprete desde 1993, de la Sociedad de Música de Cámara del Lincoln Center. Ha pertenecido a los claustros de la Universidad de Boston, el Instituto Tanglewood de la Universidad de Boston, la Universidad de Susquehanna y la Universidad de Yale.[5]
Ha recibido distinciones honoríficas del Boston College, el Conservatorio de Música de Nueva Inglaterra, Universidad de Rhode Island y de la Universidad de Tufts.[5] En la actualidad, forma parte del Claustro de la Escuela de Música Longy, en Cambridge (Massachusetts) y del Instituto de Música Curtis de Filadelfia. Ha grabado para RCA, Deutsche Grammophon, CBS, Nonesuch, New World Records, Telarc, Pro Arte, Delos Productions, Sony Classical y BMG-Verdi. Falleció el 22 de noviembre de 2015, en Boston, Massachusetts a causa de un ataque al corazón a los 83 años de edad.[6]