階上郡に関する唯一の史料は、『続日本紀』延暦4年（785年）4月7日条にある。このとき、陸奥按察使の大伴家持が多賀郡と階上郡の扱いに関し言上した。それによれば、面積が広い陸奥国では多賀・階上の二つの権郡を百姓を集めて人兵を国府に足し、防御を東西に設けた。しかし開設はしたものの統領の人を任命していない。真郡として官員を備え、民を統率させたいと願い出た。許可されたため、この年を境に正式の郡として階上郡が設置された。
平安時代の『延喜式』では既に階上郡がなく、『倭名類聚抄』（和名抄）には宮城郡の中に科上郷が見える。階上と科上は同じ読みで、科上郷を中心にして階上郡が立てられたと推定される。構成については1郷1郡[2]、科上郷・余戸郷・丸子郷の3郷とする説があるが[3]、特に根拠があるわけではない[4]。位置も不明で、吉田東伍は科上郷を七北田村（現在の仙台市泉区七北田）とするが、それは和名抄に書かれた並び順を地図に割り付けた推定である[5]。