後漢代には尚書台として少府の下に置かれ、長官を尚書令（一名、一千石）・副長官を尚書僕射（二名、六百石）としている（尚書令の上に録尚書事と言う非常設の役職がある）。その下に尚書、尚書侍郎、尚書郎などがいる。
魏・晋で尚書省と改称される。この頃には録尚書事が三公をしのいで実質的な宰相職となり、それまでの機密文書取り扱い業務は中書（中書令・中書監）が代わって担当するようになった。その後、中書は尚書と同じ理由で権限を増大させ、中書令が宰相として行政を担当するようになり、尚書省は実務機関となった。
南朝宋では尚書寺と改称されるが、南朝梁で尚書省に戻り、以後は変わらない。
隋・唐になり、三省六部制が確立すると中書省（詔勅の起草）→門下省（詔勅の審議）→尚書省（実行）という枠組みが出来上がり、長官は尚書令・副長官が左右の尚書僕射となり、六部の各長官が尚書と称される。ただし唐では太宗が尚書令に就いていた時期があるので、尚書令は空席とされ、左・右尚書僕射が長官となり、中書省長官の中書令・門下省長官の侍中と共に実質上の宰相職として政務に当たった。
その後、唐末から五代十国時代の戦乱の中で形骸化し、北宋では一旦廃止されるが神宗の元豊3年（1080年）に一旦復活し、左右僕射が門下侍郎・中書侍郎を兼任するようになり、高い権限を持つようになった（元豊の改革）。
金にも受け継がれて、初期に金が漢地を支配するに当たって行台尚書省を設けて統治していたのを海陵王が中書省・門下省を廃止して尚書省を皇帝直属機関とし、尚書令が宰相となった。
元では財政担当の部署とされていたが、その時に財政を担当する人物によって中身が入れ替わるような存在であり、何度か復廃が繰り返されて至大4年（1311年）以降は置かれなくなった。
明に入り、皇帝独裁を目指す洪武帝は六部を皇帝直属とし、間の尚書省は消滅した。