1784年、ウィリアム・ジョーンズはコルカタ在住の有力なイギリス住民にアジア研究のための会の創設を提案する手紙を書き、この招待に30人の住民が最高裁判所の部屋に集まった。ジョーンズは会の設立趣旨を説明し、協会は発足した。初期の特質すべき会員にはチャールズ・ウィルキンズとアレクサンダー・ハミルトン（同名のアメリカの政治家のいとこ）などがいた。裁判所の部屋を使って会合は開催され、会員は無記名投票で選ばれた。1796年9月に自前の建物を所有することになり、副会長のJ.H.ハリントンが現在の場所を選定した。1784年から1828年の間は会員はヨーロッパ人だけであったが、1829年にH.H.ウィルソンの主導でインド人の会員が加わった。加わった会員のなかにはDwarakanath Tagore、Sivchandra Das、Maharaja Baidyanath Roy、Maharaja Bunwari Govind Roy、Raja Kalikrishna Bahadur、Rajchunder Das、Ram Comul Sen、Prasanna Coomar Tagoreらがいる。1832年にRam Comul Senが現地事務局長（'Native Secretary'）となり、1885年にRajendralal Mitraが最初のインド人会長となった。
アジア協会のライブラリには、多くの会員から寄付された資料が元になって、各国語の10万冊を超える書籍と8000冊あまりの雑誌が収集されており、地図のコレクション、大量のマイクロフィッシュやマイクロフィルム、絵画、写真なども集められている。保存されている最古の書籍は1499年に出版された、占星術師、Julius Firmicus Maternusの"Astronomicorum Libri"である。18世紀末から19世紀初期にインドで印刷された多くの書籍が保存されている。
1796年に会員の博物学的な収集を行う博物館の設置の提案が行われ、1808年にインド政府がChowringhee-Park Streetに施設を提供した。1814年にナサニエル・ウォーリッチの主導で急速にコレクションは増加し、1840年に目録が刊行された。1833年までは職員の給与は協会が負担した。この博物館はインド博物館に発展した。
