Après des études à l'Académie de musique de Munich, sa ville natale, il débute sur scène dans le rôle de Hunding (La Walkyrie) en 1936 à Krefeld, où il est engagé jusqu'en 1938. Il devient ensuite membre de l'Opéra de Düsseldorf (1938-1942), puis du Staatsoper de Berlin (1942-1948), du Städtische Oper (plus tard Deutsche Oper) de Berlin, où il se produit dans pas moins de 1369 représentations de 1948 à 1970, et du Staatsoper de Vienne (1956-1969).
Josef Greindl a demandé son adhésion au parti nazi le et a été admis le (numéro d'adhérent 7.342.013). Dans la phase finale de la Seconde Guerre mondiale, Adolf Hitler l'a inscrit en sur la liste des chanteurs les plus importants, ce qui lui a évité d'être affecté à la guerre, même sur le front intérieur.
Dans les années d'après-guerre, omniprésent au Festival de Bayreuth, où il débuta en 1943 dans le rôle de Pogner dans (Les Maîtres Chanteurs de Nuremberg), Josef Greindl était aux rôles de basse ce que Wolfgang Windgassen était aux rôles de ténor: pas la plus belle voix, ni la plus ample, mais le technicien le plus solide, la mémoire la plus infaillible, et la polyvalence la plus grande. Année après année, pendant près de vingt ans, Greindl aura ainsi chanté des Hagen, des Gurnemanz, des Marke, des Fasolt, des Titurel, des Fafner, des Henri l'Oiseleur, etc., toujours parfaitement articulés. Sa discographie abondante (dont le sommet est constitué par son Ring de 1958 avec Hans Knappertsbusch), dans lequel il interprète les rôles de Fafner, Hunding et Hagen, est dominée par le répertoire wagnérien - il participe ainsi aux Ring de Wilhelm Furtwängler (1953), Joseph Keilberth (1955), Karl Böhm (1966), mais elle comprend également plusieurs œuvres mozartiennes: le Commandeur dans Don Giovanni, Osmin dans L'Enlèvement au sérail et Sarastro dans La Flûte enchantée, où sa voix un peu grinçante étonne dans le registre de la bonté et de la magnanimité.
En 1961 il commence à enseigner au conservatoire de Sarrebruck, puis devient professeur au conservatoire de Vienne en 1973.
