1908年11月25日、オーストリアのグラーツにて生まれる。戦前はリキュール代理商そしてシュタイアーマルクのビール醸造・スピリッツ蒸留工場で働いていた。そして、その傍らオーストリア・ナチス党支部にて活動していた。1938年、オーストリアがドイツに併合されると、ナチス親衛隊に入隊し、大尉（隊員番号152681）となった。
第二次世界大戦中、1940年代にかけてリガ・ゲットー副司令官、カイザーヴァルト強制収容所所長として、ユダヤ人を大量に虐殺した。ロシュマンは多くの老若男女を問わず次々と殺害していたと報告されている。また犠牲者達の服・毛髪・歯等は現金資産として扱われた。収容された人々は1日18時間の労働を強いられ、彼らの多くは飢えと寒さに苦しんだと言われる。
ロシュマンは処刑される囚人達を一箇所に集めては彼らの服を奪い取っていた。また、瀕死の囚人達に犬をけしかけ、囚人達が犬に食い殺される様を見るのが何よりの楽しみであったという。結果的に、彼の手により約35000名が死亡したと言われる。
戦後、ドイツ国防軍伍長の制服を着ることにより連合軍からの追及を逃れることに成功し、グラーツの家族の元に戻るが、1947年12月31日、ネオナチ組織に所属した廉でオーストリア警察当局に逮捕される。
このことを知ったナチ・ハンター、サイモン・ウィーゼンタールからの通報により連合軍から身柄引き渡し要求が出され、彼はイギリス軍の手により護送されるが、その際監視の目をかいくぐり逃亡した。その後、ナチス逃亡協力者組織の手を借りてオーストリア国内にしばらく潜伏し、イタリアのローマ経由でアルゼンチンへと渡った。
アルゼンチンに到着したロシュマンは、ナチス逃亡協力者組織の手によりビジャ・デ・マヨに落ち着き、名前をフレデリック・ウェーゲナーに変えて、旅行代理店で働き、その後家具製作所の共同経営者となった。1955年、秘書と結婚するが、このことがグラーツにいる妻の耳に入り、1959年、重婚罪の容疑で追われる身となった。
1960年、西ドイツ政府によりリガでの虐殺行為に対し逮捕状が出されたが、アルゼンチン政府の政権が1960年代から1970年代にかけてクーデターによりころころ変わったため難を逃れた。
1977年7月1日、ホルヘ・ラファエル・ビデラ政権下のアルゼンチン警察に逮捕されるが、4日後に国外退去を条件に釈放される。その後、西ドイツ政府に引き渡しを要求されたロシュマンは、犯罪人引渡し条約のないパラグアイのアスンシオンへと逃亡を試みるが、8月10日にアルゼンチンとパラグアイの間の船上で心臓発作を起こし死亡した。69歳没。
