À la tête du département de la santé, Klaus Baumgartner eut à s’occuper des problèmes liés à la drogue, en particulier la scène ouverte de la Kleine Schanze puis du Kocherpark. Ses services développent une politique de réduction des risques et de thérapie pour les personnes fortement dépendantes avec par exemple la création d’un kiosque à seringues[1] et la distribution thérapeutique contrôlée d’héroïne[2].
Parvenu à la tête de la ville, il fait de ce dossier une priorité, sur le modèle de la politique fédérale des quatre piliers. Il lance en 1998 l’opération « Citro » visant à renvoyer les trafiquants de drogue vers leur canton d’origine[3]. Toutefois, la présence de Kurt Wasserfallen, adversaire politique de Klaus Baumgartner et partisan d’une politique plus restrictive en matière de drogue, à la tête de la Police bernoise a conduit à des dissensions jusqu’à sa démission forcée en 2003[4].
En matière de développement urbain[5], Klaus Baumgartner s’est engagé pour la reconstruction du stade du Wankdorf, devenu le stade de Suisse. Le projet avait été approuvé en votation populaire en 1997. Les années suivantes, il mena aussi à bien différents grands projets tels que le projet Berne-Brünnen approuvé par le peuple en 1999 après des années de blocage, l’ouverture du Centre Paul-Klee approuvé par le peuple en 2001, le réaménagement de la place de la gare et l’assainissement du parc du Gurten. En revanche, son projet de tunnel pour désengorger la gare (Schanzentunnel) fut rejeté dans les urnes en 1997, de même qu’en 2002 la candidature de Berne pour l’organisation des Jeux Olympiques d’hiver 2010.
En 2001, son refus d’accepter une hausse de son loyer en dépit d’un règlement qu’il avait contribué à faire adopter a conduit à de vives critiques, y compris au sein de son parti. Klaus Baumgartner finit par déménager.