Mikhaïl Schwartz est éduqué au corps des cadets de la Marine de Saint-Pétersbourg dont il sort en 1841 avec le rang de garde-marine. Le , il est nommé mitchman et le , lieutenant. Le lieutenant de vaisseau Schwartz se distingue au cours de la bataille de Sinope (18/) dont la rade est menacée par une escadre turque qui est finalement défaite; en conséquence de sa bravoure, le lieutenant Schwartz, qui fait partie du 33e équipage de la flotte, sur le navire Tchesma, est décoré de l'ordre de Saint-Vladimir de 4e classe avec épées et ruban. Pendant le siège de Sébastopol (1854-1855), il commande une redoute fameuse sur le flanc gauche de la première unité de la ligne de défense. Cette redoute se révèle comme l'un des points les plus dangereux des positions russes et porte le nom de son commandant. Le , Schwartz reçoit pour cela l'ordre impérial et militaire de Saint-Georges de 4e classe «en récompense des faits d'armes distingués face aux bombardements de la ville de Sébastopol en 1854 par les troupes et la flotte anglo-française.»
Après que le , Schwartz est blessé à la tête par un fragment de bombe explosive, il est récompensé de l'insigne de sabre d'or avec l'inscription «pour bravoure». À la fin de la guerre, il commande divers navires de la flotte de la Baltique, comme le cuirassé à deux tourelles Roussalka. Le , il est promu lieutenant-capitaine. En 1862, il reçoit l'ordre de Saint-Stanislas de 2e classe avec couronne; en 1864, l'ordre de Sainte-Anne de 2e classe avec couronne et épées; et au début de 1866, il est élevé au grade de capitaine de 2e rang. Le , Schwartz devient capitaine de 1er rang. En 1870, il commande le cuirassé Pervenets. En 1872-1875, il commande la frégate cuirassée Petropavlovsk. En 1879, le royaume des Pays-Bas lui confère l'ordre militaire de Guillaume et la Grèce, l'ordre du Sauveur.
Mikhaïl Schwartz devient contre-amiral le et en 1883-1884, il commande un détachement d'entraînement d'artillerie de la flotte de la mer Baltique. par la suite, il commande le 2e équipage de la flotte et à partir du il est commandant de la forteresse maritime de Kronstadt.
