北海道から九州まで分布があるが、ブナ帯以上の地域に生育するものである。中部地方以北では、山地から高山にかけてごく普通にはえ、林縁や草地など、やや日当たりの良いところに生える。それ以南、以西の地域では、山地の高所に点々と分布があるのみである。
ヒメスゲは高地においてはヘビノネゴザなどと共に尾根筋の開けた岩地でも見ることが多く、そういった場所での自生状況は高山植物の雰囲気もある。地上に露出することもある強い根茎を引いて群落化する傾向があり、同じような環境でショウジョウスゲ、コタヌキラン、ホソバヒカゲスゲ、ニイタカスゲなどがライバルとなることも多い。標高の低い地域では、基部が血赤を帯びることもあるヒナスゲと混成する場所もあるのかもしれないが、ヒナスゲは背が低く、小穂を単独で生じること、冬季は葉がウシノケグサのように針状になることで識別できる。
高地ではこのスゲの見られる日当たりのよい環境で、フキバッタ類の高山種、ヒロバネヒナバッタや近縁の高山種。ヒシバッタなどを見る。
ショウジョウスゲと共に、比較的標高の低い地域でも見られ生息幅が広い。残存しやすい枯死部は、雪の下で周囲の小型の生物に快適な環境を提供していると思われる。