コストロム州パルキンスキー地区ボリショエ・オジョギノ村出身。17歳の時からバルチースキー造船所で働き始め、後にレニングラードのセーヴェルナヤ造船所で働く。
兵役後、造船所で再び働きながら、V.I.レーニン名称軍事政治アカデミーの夜間学部を卒業した。卒業後、コムソモール、後に党の仕事に移った。
ラヴレンチー・ベリヤによる内務人民委員部（NKVD）内の粛清後の1939年、サハロフスキーは、レニングラード市の国家保安機関に送られた。独ソ戦時、レニングラード国家保安局の課長として働いた。
戦後、対外諜報部に移る。任務遂行のために、再三国外出張し、特にルーマニアには長期滞在した。
1956年、ソ連国家保安委員会第1総局長となり、1971年まで総局を指導した。