カラビネーロスの起源は1758年に組織された夜警団ドラゴーネス・デ・ラ・レイナ（Dragones de la Reina:女王の竜騎兵隊）まで遡る。ドラゴーネス・デ・レイナは1812年にドラゴーネス・デ・チレ（dragones de Chile:チリの竜騎兵隊）と改名した。この頃、サンティアゴ・デ・チレやバルパライソのような大都市には夜警団やそれから発展した都市警察が存在していたが、地方自治体はほとんどまともな警察組織を持たなかった。そこで1881年、各自治体における地方警察（Policía Rural）の組織が中央政府より発令された。しかし、この地方警察の意思決定は地方自治体に依存しており、しばしば地方の権力者が不当に警察力を濫用した。1896年には大都市で検察(Policía Fiscal)が組織される。
1903年、アラウカニア講和で手に入れたチリ南部アラウカニア地方の治安維持を目的にクエルポ・デ・カラビネーロス（Cuerpo de Carabineros:騎兵軍団）が組織された。これは最初にカラビネーロスの名前を冠した警察組織だった。1908年にはクエルポ・デ・カラビネーロスの士官学校が現在のプロビデンシアで開校した。
1927年4月27日、第20代大統領カルロス・イバーニェス・デル・カンポ将軍は地方警察、検察、クエルポ・デ・カラビネーロスをチリ中央政府の元に統一し、カラビネーロス・デ・チレを創設した。イバーニェスはカラビネーロスの初代長官となった。
1938年9月5日、チリ国家社会主義運動による暴動を鎮圧する際、身の安全を条件に武装解除したチリ国家社会主義運動党員ら約60人を労働保険局前に連行して処刑した。この事件は労働保険局前の虐殺と呼ばれた。カラビネーロスに対する発砲命令の出所が不確かで、チリの歴史研究家の間で議論の的となっている。かつてはアルトゥーロ・アレッサンドリ・パルマ（スペイン語版）大統領の命令によるものとされていたが、現在では否定されている。
1973年9月11日、陸軍のアウグスト・ピノチェト将軍がクーデターを起こすと、後にカラビネーロス長官となるセサル・メンドーサ＝ドゥラン（英語版）将軍の下、カラビネーロスは陸海空軍と共に決起、サルバドール・アジェンデ大統領への攻撃に参加し、後に軍事政権の一翼として誘拐や拷問、殺人など多数の人権侵害に加担した。
