カール・ツェラーはオーストリア中部のザンクト・ペーター・イン・デア・アウ（en: Sankt Peter in der Au）で、内科医の父ヨハンと母マリア・アンナ・エリーザベトとの間の唯一の子として誕生した。父ヨハンは、彼が1歳の誕生日を迎える前に死去し、残された母はエルネスト・フリーディンガー（Ernest Friedinger）という人物と再婚した。ツェラー自身は1875年に、アンナ・マリア（Anna Maria Schwetz）と結婚している。
少年時代のツェラーはボーイソプラノの美声に恵まれていたため、ウィーン少年合唱団で歌っていた。彼はその後ウィーン大学に入学して、法律と作曲を学んだ。
ツェラーはオーストリア帝国の文部省で官吏として働きながら、歌曲やオペレッタなどの作曲を続けた。彼の作品の中では、オペレッタ『小鳥売り』（1891年）などがよく知られている。彼の作品の台本の全てを執筆（または共同執筆）したのは、モーリッツ・ヴェスト（Moritz West）で、しばしばルートヴィヒ・ヘルト（Ludwig Held）と共同で執筆していた。
ツェラーの官吏としてのキャリアは、偽証などを含む法的な問題が起きてしまったために終わり、1890年代半ばに彼は投獄された（後にこの判決は撤回されている）。
1895年に氷上で転倒して負傷した後、晩年のツェラーは心身ともに病に苦しんだ。ツェラーは、バーデン・バイ・ウィーンで肺炎により死去した。
