Il passe trois saisons en Ligues mineures avant de faire ses débuts en Ligue majeure le 1999.
Libéré par Tampa Bay après la saison 2001, il signe avec les Braves d'Atlanta, mais ne jouera que pour le club-école de ceux-ci au niveau AAA avant d'être libéré une fois de plus. Fort d'une nouvelle entente signée comme agent libre, il se joint aux Mets de New York, avec qui il dispute la saison 2003.
Le , il est échangé aux Astros de Houston en retour d'un joueur des mineures, Adam Seuss. Il apparaît en séries éliminatoires, d'abord en Série de division contre Atlanta, puis en Série de championnat contre Saint-Louis et n'accorde aucun point en huit manches lancées.
En 2005, il participe à la Série mondiale avec les Astros mais connait une mauvaise sortie contre les White Sox de Chicago, qui balaient Houston en quatre parties consécutives.
En 2007, Wheeler est utilisé dans un rôle de stoppeur par les Astros lorsque Brad Lidge est tenu à l'écart du jeu par une blessure, mais au retour de son coéquipier, Houston décide d'échanger le lanceur à son équipe originale. Wheeler passe donc aux Rays le , en retour du joueur de troisième butTy Wigginton et d'une somme d'argent.
En décembre 2010, Wheeler signe un contrat d'un an et une année d'option avec les Red Sox de Boston[2]. Il fait 47 apparitions en relève et présente une moyenne de points mérités de 4,38 en 2011 chez les Sox.
