前漢の武帝の太初元年に光禄勲の下に「建章営騎」が設立されたことに始まる。皇帝に従うことを職とした。後に「羽林騎」と改称された。
羽林には令、丞が置かれたが、宣帝は中郎将（秩比二千石）と騎都尉（秩比二千石）に羽林を監督させた。
また従軍して戦死した者の子を引き取って羽林で養い、武器の使い方を教え、これを「羽林孤児」と称した。
後漢においても光禄勲に属し、羽林中郎将（秩比二千石）が宿衛侍従を職とする羽林郎（秩比三百石）を司った。羽林郎は漢陽（天水）、隴西、安定、北地、上郡、西河の六郡の人間から選抜された。
また中郎将とは別に羽林左監と羽林右監（各秩比六百石）がおり、それぞれ羽林左騎、羽林右騎を司った。