東アジア図書館の起源は、1902年にコロンビア大学評議員会が、中国語学科の設置を承認したことにある。中国から寄贈された5,000巻の百科事典がコレクションの基礎になった[5]。
日本文化研究者の角田柳作 (1877-1964) は、東京専門学校卒業後1909年に渡米、米国人に対し日本文化を紹介するための資料収集を企図する。岩崎小弥太らの支援を受けて収集された資料は米国に送られ、コロンビア大学図書館に一時保管された。1931年に正式にコロンビア大学に引き継がれ、角田はこのコレクションのキュレーターとなった[4][6]。その後コレクションの充実が図られ、中国語資料と隣接した場所に移管、「東アジア図書館」 (East Asiaticc Collection) という名称にまとめられた[7]。目録作成作業も進められ、戦前の段階で日本語図書は28,000冊に達した[8]。
韓国語の資料は、1931年にコロンビア大学の韓国人学生から1,000冊程の図書が寄贈されたのが始まりである[5]。
第二次大戦後、ワシントン文書センターが日本から接収した図書約2,700袋が米国議会図書館に送られた。これの目録作業をするため、米国各大学図書館から司書が送り込まれ、既存の蔵書と重複した図書は各大学へ寄贈されることになった[9]。コロンビア大学図書館からはP.ヤンポルスキーと甲斐美和が赴いてこの作業に当たり、その結果4,300冊の図書を大学に持ち帰り日本語コレクションに加えることができた[10]。
1960年代に東アジア図書館はキャンパス内のケント・ホールに移転した。1981年には実業家C.V.スター (Cornelius Vander Starr) が創設したスター財団からの寄付金で、図書館入口の改修や書庫の拡張が行われた[5]。この時から図書館は「C・V・スター東アジア図書館」と改称したが、C.V.スターの名前を冠した東アジア図書館は他に、カリフォルニア大学バークレー校にもある[4]。
