「日本国有鉄道組織規程」を根拠に設置された機関であり、公安本部及び鉄道管理局の下部組織として主要駅に設けられていた。
鉄道公安室の下部機構として、「鉄道公安分室」や「鉄道公安派出所」が置かれている駅もあった。
また、鉄道公安室の中でも大規模なものを「中央鉄道公安室」とし、全国で札幌・仙台・新潟・東京・上野・新宿・名古屋・大阪・広島・小倉の計10ヶ所（駅）にあった。
国鉄分割民営化に伴い鉄道公安室は廃止され、都道府県警察に新設された鉄道警察隊の本隊もしくは分駐隊（名称は各都道府県警察の鉄道警察隊によって異なる）となった。
