秦代に都城咸陽周辺の統治を目的に設置された内史を前身とする。前漢が成立すると前206年（高帝元年）に塞国、翌年渭南郡と改称されたが、前197年に再び内史の管轄とされた。前135年（建元6年）に内史が左右に分割された際に右内史の管轄とされ、前104年に右内史の管轄地域がさらに分割され、首都長安とその周辺地域を管轄する役職として京兆尹が創始された。職掌は郡太守と同様であるが、畿内を管轄しまた朝政にも参加したことから、左馮翊、右扶風とともに三輔と称され、宰相候補の適性が試される顕職であった。官秩は二千石（『漢書』百官公卿表上）。
後漢になると都城が洛陽に遷されたため（洛陽周辺は河南尹が治めた）、京兆尹の地位は相対的に下落した。