1859年、アントン・ルビンシテイン（1829年 - 1894年）の主導により、ロシアの専門的音楽教育と音楽趣味の発展・向上、音楽的才能の育成などを目的としてサンクトペテルブルクに設立された。その基盤となったのは、1840年設立のサンクトペテルブルク交響楽協会である。ロシア音楽協会は交響楽や室内楽の定期演奏会を組織するとともに、1862年にはそれまで存在した音楽教室を統合・補強した教育機関としてサンクトペテルブルク音楽院を設立した[1]。
ルビンシテインは音楽協会の芸術監督及び音楽院の校長を務めた[2]。
1860年には、アントンの弟ニコライ・ルビンシテイン（1835年 - 1881年）によりモスクワ・ロシア音楽協会が設立され、1866年にはニコライを校長としてモスクワ音楽院が開校する。
アントンとニコライのルビンシテイン兄弟はライバル関係にあり、サンクトペテルブルクとモスクワの音楽協会は当初は別々に運営されたが、後に他の都市にも同組織ができるとこれらを合わせて「支部」となった。
なお、ロシアを代表する作曲家ピョートル・チャイコフスキーはサンクトペテルブルク音楽院の第一期生であり、モスクワ音楽院の設立当初から作曲を教え、セルゲイ・タネーエフらを育てた[1]。
アントン・ルビンシテインはロシア音楽のディレッタンティズムを批判し、自分が受けたドイツの音楽教育をモデルとしてサンクトペテルブルク音楽院のカリキュラムを編成したため、アレクサンドル・セローフやミリイ・バラキレフら独学の作曲家たちの激しい反発を浴びた。とくにバラキレフはルビンシテインのコスモポリタニズムに対抗し、「力強い一団（ロシア5人組）」や無料音楽学校を組織してロシア国民楽派を形成[3]、これらは19世紀後半のロシア音楽の流れを二分する潮流となった。また、ロシア音楽協会や音楽院の運営は、支援者であったロシア大公妃エレナ・パヴロヴナを中心とする帝室の影響力に依存し、カリキュラム編成などに関してしばしば制限や介入を受けた[1]。
1867年にアントン・ルビンシテインが音楽協会と音楽院の職を辞してロシアを去った後、バラキレフが音楽協会の指揮者となるが、大公妃エレナ・パヴロヴナと衝突して1869年に辞任に追い込まれる[4]。
その後、進歩的な音楽に理解のあるミハイル・アザンチェフスキー（ロシア語版）が各組織を統率するようになってからは、音楽協会の運営基盤が改善されていった。1869年にはエドゥアルド・ナープラヴニーク（1839年 - 1916年）が交響楽演奏会の指揮者に就任し、モデスト・ムソルグスキーやニコライ・リムスキー＝コルサコフら「力強い一団」の作曲家の作品をプログラムに加え、高水準な演奏を提供した。リムスキー＝コルサコフは、1871年にサンクトペテルブルク音楽院の作曲科教授に抜擢された。
1873年に大公妃エレナ・パヴロヴナが没すると、音楽協会は正式に国家財政による運営となった[1]。
