五十人山は、阿武隈高地に属する山で、福島県双葉郡葛尾村と田村市(旧田村郡都路村)との境界に位置し、市村境上の北峰(標高873m)と、それより約200m南方の南峰(標高883m)を有する双耳峰である。
五十人山という名前の由来は、坂上田村麻呂が蝦夷平定の際に山頂の大石に家臣五十人を座らせ戦略を練ったからとするという説[1]や、人に見える大石が山頂に五十個あるからとする説がある。山容はなだらかで、山頂付近は葛尾村の村花であるツツジが群生する草原となっている。
山頂からは、近くは鎌倉岳、竜子山、移ヶ岳、日山などの阿武隈山系の山々、遠くは安達太良・吾妻連峰を望むことができる。