シレジアにルーツを持つバルト・ドイツ人貴族の家系出身。父親オットー・アダム・フォン・メック（Otto Adam von Meck、1790年 - 1830年）少佐はリガの税関吏。母親ヴィルヘルミーネ・ハッフェルベルク（Wilhelmine Hafferberg、1802年生）はフリードリヒ・ヴィルヘルム（Friedrich Wilhelm Hafferberg、1765年 - 1801年）とキャサリン・コンスタンツェ・ノット（Catharine Constanze Nott、1779年 - 1841年）夫妻の娘であり、キャサリン・コンスタンツェの再婚相手は作曲家フランツ・アダム・ファイヒトナー（英語版）の息子カール・ルートヴィヒ・フォン・ファイヒトナー（Carl Ludwig von Veichtner、1772年 - 1831年）。
フォン・メックは、1844年にサンクトペテルブルク交通大学を卒業後、モスクワ～ワルシャワ間の道路整備プロジェクトに技術者として関わる。1860年、カールは公職を辞して事業家へと転じる。クリミア戦争での敗北により鉄道輸送の重要性が論じられるなか、モスクワ～サラトフ間を結ぶ私鉄建設を目指すサラトフ鉄道協会（Saratov Railway Association）に参画する。同鉄道のプロジェクト第一段階のモスクワ～コロムナ間は開通したものの、その後同プロジェクトは資金難により挫折した。
フォン・メックは1863年にモスクワ～リャザン間の鉄道建設プロジェクトに参画し、成功を収める。フォン・メックはその後もさまざまな鉄道建設に関わったものの、モスクワ～リャザン間路線を超える成功はなかった。1876年、モスクワにて死没。
