En 1947, il s'installe à Stockholm où il est pianiste professionnel. Il se destine d'abord à une carrière de musicien classique, prenant des cours auprès du pianiste Sven Brandel.
En 1949, c'est par hasard qu'il devient saxophoniste baryton dans l'orchestre de Seymour Österwall. Découvrant les possibilités de l'instrument et influencé par les enregistrements de Gerry Mulligan, il décide de s'y consacrer entièrement.
Membre du septet d'Arne Domnérus de 1951 à 1953, il commence également à travailler avec les musiciens américains de passage en Suède, et enregistre avec Zoot Sims, James Moody, Clifford Brown. Il travaille également, à partir de 1951 et à de nombreuses occasions, avec Lee Konitz.
En 1953, il forme son seul groupe en tant que leader. L'expérience ne dure que quelques mois après que Gullin eut provoqué un accident de la route qui, sans blesser aucun des musiciens, met tout de même fin à leur collaboration.
En 1954, il remporte le prix du Meilleur Nouvel Artiste du magazine Down Beat, après que furent parus aux États-Unis deux albums enregistrés en Suède en , sur le label Contemporary Records. Les albums suivants de Gullin sont édités aux États-Unis par Atlantic Records.
En , Gullin est en en tournée en Europe avec Chet Baker. C'est au cours de cette tournée que le pianiste Dick Twardzik est victime d'une overdose d'héroïne, le à Paris, et c'est Gullin qui découvre son corps dans sa chambre d'hôtel.
La carrière de Lars Gullin est elle-même gâchée par ses propres problèmes d'addiction et à certaines périodes, il ne survit que grâce à des bourses versées par le gouvernement suédois.
En 1959, Gullin travaille à nouveau avec Chet Baker, principalement en Italie, et avec le saxophoniste Flavio Ambrosetti, enregistrant pour la radio à Lausanne en Suisse.
Dans les années soixante, il continue à travailler occasionnellement avec des musiciens américains, notamment Archie Shepp avec qui il enregistre en 1963.
Il meurt en 1976 d'une crise cardiaque, consécutive à son addiction à la méthadone.
Un album hommage, Lee Konitz plays the music of Lars Gullin, est enregistré en 1983 par Lee Konitz et le pianiste Lars Sjösten.
Dans le film Sven Klang's Combo (Sven Klangs kvintett, 1976), une reconstitution fictionnelle de la scène jazz suédoise des années cinquante, le personnage de Lars est largement inspiré de Gullin.
Son fils, Peter Gullin, (, Milan, Italie – , Uppsala, Suède) était également un compositeur et joueur de saxophone baryton. Lars Gullin lui avait dédié l'une de ses compositions, Peter of April. Danny's Dream était dédié à son deuxième fils Danny et Gabriella à sa fille, née en 1961, compositrice et chef d'orchestre.
