Kunze est né à Des Moines, Iowa et grandit près de Milwaukee, Wisconsin [1]. Il commence ses études de premier cycle à l'Université Denison mais est transféré à l'Université de Chicago après deux ans et obtient un baccalauréat et une maîtrise en mathématiques[1],[2]. Après avoir travaillé comme analyste mathématique militaire[2],[1], il retourne à l'Université de Chicago et obtient son doctorat en 1957 avec une thèse sur les transformations de Fourier dirigée par Irving Segal[1],[3]. En plus de ses postes à l'UCI et en Géorgie, il travaille également à l'Institute for Advanced Study, au Massachusetts Institute of Technology, à l'Université Brandeis et à l'Université Washington de Saint-Louis[2],[1]. Il dirige plusieurs thèses, dont celles de Paul Sally à Brandeis et Edward N. Wilson à l'Université de Washington[3].
Avec son conseiller Irving Segal, Kunze est l'auteur du manuel Integrals and Operators (McGraw-Hill, 1968; 2e éd., Grundlehren der Mathematischen Wissenschaften 228, Springer, 1978)[4]. Avec Kenneth M. Hoffman, il est l'auteur de Linear Algebra (Prentice-Hall, 1961; 2e éd., Pearson, 1971)[1] .
En 1994, une session spéciale sur la Théorie des représentations et l'analyse harmonique a lieu en l'honneur de Kunze dans le cadre de la 889e réunion de l'American Mathematical Society, et les articles de la session sont publiés sous forme de festschrift. En 2012, Kunze est reconnu comme l'un des premiers Fellow de l'American Mathematical Society[5].
