La partie basse de la rue, comprise entre la place du Manège et la place de la Porte Nikitsky date du XVe siècle. Elle menait à la route de Novgorod. Au siècle suivant, cette partie de la Ville Blanche devint plus populeuse. On y construisit des églises, dont l'église Saint-Nicolas de Khlynov, l'église Saint-Nicétas et la petite église de l'Ascension qui subsiste de nos jours. En 1536, Ivan III, fit construire la Maison Yamskaïa, l'un des plus anciens édifices administratifs de Moscou, comparable au XXIe siècle à peu près à une mairie. Le quartier attirait une foule nombreuse d'artisans et d'ouvriers, surtout après qu'Ivan le Terrible eut divisé ce quartier en deux territoires en 1565 : à gauche de la rue Bolchaïa Nikitskaïa s'étendaient des terrains dépendant de l'opritchnina et à droite de la zemchtchina.
Ainsi les terrains dépendant de l'opritchnina abritèrent une sloboda (ou colonie libre) qui accueillit nombre de domestiques, cuisiniers, boulangers, etc. pour le tzar. Cependant plus tard, lorsque le boyard Nikita Romanovitch Zakhariev-Youriev (grand-père de Michel Ier, fondateur de la dynastie Romanov) fonda un monastère féminin dédié à son saint patron, le martyr Nicétas le Goth, non loin de l'église homonyme, le quartier fut habité par de riches seigneurs. Ce monastère, le monastère Nikitsky (de Nikita, traduction en russe de Nicétas), sera détruit par les autorités soviétiques dans les années 1930 pour laisser la place à un bâtiment recouvert de sculptures de personnages illustrant l'ardeur au travail et les vertus de l'électricité. Il abrite en effet la première station électrique du métro de Moscou.
Au XVIIIe siècle, la rue se couvrit d'hôtels particuliers élégants et, vers le Kremlin, des premiers bâtiments de l'Université de Moscou reconstruits ou restaurés quelques années plus tard après l'incendie de 1812 par Domenico Gilardi. Après la destruction des remparts et la percée de l'Anneau des boulevards, cette rue élégante vit des palais se construire et la grande église de l'Ascension, de style classique, où Pouchkine se maria.
Au siècle suivant, on y construit des théâtres, comme le ravissant théâtre-opéra Hélikon, situé dans l'ancien hôtel particulier de la famille Chakhovskoï d'un vert délicat, et surtout le Conservatoire Tchaïkovski, fameux conservatoire de Moscou construit par Vassili Zagorski, ainsi que des maisons particulières et des immeubles de rapport de style Art nouveau. À l'époque soviétique, cette rue historique et protégée était habitée par de nombreux artistes, acteurs ou musiciens. C'est aujourd'hui encore un quartier d'ambassades, mais surtout une rue élégante avec des boutiques de luxe et des restaurants.
Elle s'appelait entre 1920 et 1993 la rue Herzen.
