五胡十六国に建立された諸政権は、その大半が魏晋時代からの漢人の官僚制度を継承していたが、一部の政権は胡人の為の統治機構を別に設置し、漢人と胡人を分けて管理した。それが単于台の制度であり、基本的には漢人の官僚制度と並行して運用された。この支配体制を『胡漢分治』と呼ぶ。単于台は胡人専門の行政機関であると同時に軍事的な組織でもあり、人口・財産を管理する部落組織でもあった。その長官は大単于（あくまで役職名であり、君主号である単于とは異なる）と呼ばれ、ほとんどの場合で皇太子もしくは有力な皇子が任用されており、皇帝に次ぐ権力を有する地位にあった。大単于の下には単于左右輔、或いは前後左右輔の役職が置かれ、それぞれ10万の集落を管轄した。さらに、1万の集落毎には都尉が1人置かれた。単于台の名称は国によって微妙に異なり、単于庭、燕台、大単于台という呼称も用いられている。
前趙（漢）を建てた匈奴の劉淵により初めて用いられ、羯である石氏の後趙、鮮卑慕容部の後燕、鮮卑化した漢人である高氏の北燕においても同様の制度が運用されている。他にも、前燕・前秦・後秦・西秦・南涼・夏においても単于台が設置された事が記録されている。ただ、必ずしも常置されている訳ではなく、あくまでも魏晋以来の官僚制度の補助として用いられていた。
時代が下り、漢人と胡人が次第に一体化していくにつれ、胡漢分治の考えは廃れていき、単于台の制度も自然に淘汰されていった。