1889年に招集された歩兵将校委員会においては、当時配備されていたM1860参謀・佐官刀(M1860 Staff and Field Officers Sword)について、刃が軽すぎて斬撃と刺突のどちらにも適さず、騎兵や砲兵にとっても使いづらいと指摘された。これを受けて軍部は新たな軍刀の模索を始めた[5]。
最終的なM1902軍刀のデザインは、1871年からヘンリー・V・アリアン&カンパニー社(Henry V. Allien & Company)にて数年を費やし行われた研究および実験に基づいている。陸軍人事総監で剣術の専門家でもあったジョン・C・ケルトン(英語版)将軍も設計に協力した。社長ヘンリー・アリアンはヨーロッパ各地を何度も歴訪して研究を重ね、複数の軍刀を試作した。この中には曲刀だけではなく直刀も含まれていた。ケルトンは現用の軍刀とも比較しつつ、中央から切先に掛けての湾曲が少なく、中央より下は柄と平行に近いことが望ましいと指摘し、それによって強い力で刺突することが可能になるとした。1902年6月、ワシントンD.C.にて軍部高官らの委員会が催され、アリアン社製の試作軍刀5本が審査を受けた。このうち3本が直刀、2本が曲刀だった。また、武器省からも同数ずつの試作軍刀が提出されている。そして最終的に選ばれたのは、アリアン社の軍刀のうち、ケルトンが最も好ましいと評価したデザインのものだった[6]。
当初、鞘や護拳の材質は洋白だったが、後にニッケルメッキ鋼に改められた。黒い牛角材製だった柄の握りは、すぐに硬質ゴムに改められ、後には樹脂製となった[4]。
アメリカ国内では、エイムス・マニュファクチャリング・カンパニー(英語版)のみが製造を行った。スプリングフィールド造兵廠も当初は生産を行っていたが、1918年に中止した。スプリングフィールド造兵廠では、1902年から1918年までに5,735本のM1902軍刀を製造した。そのほか、アメリカ国内の軍需品納入業者を通じ、ドイツ、フランス、スペインなどヨーロッパ諸国のメーカーにも製造が委託されていた[4]。
現在でも、アメリカ陸軍の教範『FM 3-21.5, Drill and Ceremonies』において、士官用軍刀としてM1902を用いる旨が言及されている。パレードや式典の際、部隊指揮官たる士官が帯刀するほか、晩餐会、結婚式や葬儀、退官式などの際にも帯刀することが多い。一般的にはアーミー・サービス・ユニフォーム(英語版)(ASU, 常装)着用時に帯刀し、メス・ユニフォーム(Mess uniform, 礼装)着用時に帯刀することは極めて稀である[7]。