群馬県庁本庁舎・前橋市役所本庁舎から南方へ2km弱、利根川東岸間際に位置し、北方を両毛線が通過する。
歴史の古い刑務所であり、明治時代の開設時こそ市街地から離れた場所であったが、その後の都市化進行によって西側の利根川を除く三方を住宅地に囲まれる状態となっている。1960年（昭和35年）の参議院委員会答弁でも既に著しい老朽化と市街地立地の状況が認識され、早くから移転が取り沙汰されていたが実現することなく、収容能力の逼迫に伴い、現在地での収容棟新築などが進められた。現在でも市街地内の広大な1ブロックを占めたまま現在地に存続する。
1888年（明治21年）建設で木造の旧・雑居房は、骨格こそ洋式の手法を取り入れながら日本家屋のような瓦屋根の外観と日本式の監房を備える過渡期の建築であり、現在は博物館明治村に縮小移築されている。建設時の全体レイアウトは監視塔を中心に4棟の獄舎が放射状に配置されるという、当時アメリカで研究されていた刑務所構造を取り入れた先駆例であった。
外堀に囲まれた赤煉瓦の正門・外壁は開設当初からのもので、細やかな部分に意匠が凝らされ、地元出身の詩人・萩原朔太郎の詩の題材ともなった。旧・網走監獄と並んで、古典的な「監獄」のイメージに相応しい外観や、かつて長期受刑者の収容先として知られた歴史などを併せ持ったことで、映画のロケーションなどにも多用されている。部分改築を受けつつも築造後120年に渡り供用されており、群馬県近代化遺産に指定されている。
全国の刑事施設でれんが造りの外塀が現存しているのは同刑務所と網走刑務所の2カ所のみといい、歴史的価値の高さから2021年12月、市景観資産に登録された。
