La mascotte de l'université, Duke Dog, est fréquemment vue lors de tous les événements sportifs. Les couleurs de l'école sont le pourpre royal et l'or. Madison a remporté cinq championnats nationaux de la NCAA, le troisième rang parmi les collèges et universités de Virginie.
La tradition du sport féminin chez les Dukes est une des plus anciennes du pays puisqu'elle remonte pratiquement à la fondation de l'université en 1908. De solides programmes féminins inter-universitaires sont mis en place au début des années 1920 et l'université est une des premières à proposer des offres féminines inter-universitaires globales bien équilibrées. Le programme sportif masculin débute à la fin des années 1940 et un programme complet masculin commence à prendre forme à la fin des années 1960, lorsque l'université devient totalement mixte[1].
Les «Diamond Dukes», nom sous lequel l’équipe est connue, établissent un record de tous les temps avec leur bilan de 1092-670-8[6] et participent au tournoi de la NCAA à neuf reprises, dont la plus récente en 2011[3].
Au cours de la saison 2006, les Dukes ont les deux meilleurs frappeurs de home run de la Division I. L'un d'entre eux, Kellen Kulbacki(en), s'est classé parmi les cinq premiers dans les trois catégories de la triple couronne[8]. Il reçoit le prix du joueur national de l'année 2006 en tant que sophomore[9].
Les Dukes disputent leur première saison en 1972[21] sous la direction de Challace McMillin(en), qui reste jusqu'en 1984[22]. Madison passe de la division III à la division I-AA de la NCAA en 1980[23] et rejoint la Colonial Athletic Association en 1993 qui, à l'époque est une entité indépendante connue sous le nom de Yankee Conference[24].
La popularité de l'équipe de football américain augmente avec le recrutement de Mickey Matthews(en) en 1999[25], qui en 2004 mène les Dukes à leur premier championnat national[26].
Le , Madison remporte son deuxième titre de champion national dans l'histoire du programme, en battant les Penguins(en)de l'Université d'État de Youngstown par 28 à 14 à Frisco, au Texas[27]. Au cours de la saison 2017, JMU maintient sa domination sur la compétition FCS, atteignant un deuxième titre consécutif avec un bilan de 14-0 avant de perdre en un match serré face au rival émergent, le Bison de l'université d'État du Dakota du Nord (NDSU), 17-13. La décennie de domination de NDSU, combinée à la domination à court terme de James Madison, en a fait une des rencontres pour le titre la plus attendue de l'histoire de la FCS[28].
L'université commence sa transition en NCAA Division I FBS lors de la saison 2022 en intégrant la Sun Belt Conference comme membre à part entière mais n'est pas éligible pour disputer un bowl[33].
