1630年（寛永7年）、キリスト教関連書籍の流入を防止するために設置され、長崎の春徳寺の住職が任じられた。1639年（寛永16年）、本草学者の向井元升が、江戸城の紅葉山文庫に所蔵する漢籍の選定のために書物改役に加えられた。1680年（延宝8年）に元升の遺児である儒学者の元成が書物改役に加えられるが、1685年（貞享2年）に元成が『寰有詮』と呼ばれる漢訳の天文学書の中にキリスト教の教義に触れた部分があることを告発し、その功績によって元成は長崎奉行直属に取り立てられ、その子孫が書物改役を世襲することとなった。
1693年（元禄6年）以後、中国船が持ちこんだ漢籍の内容に関する報告書[1]である「大意書」を長崎奉行に提出し、1715年（正徳5年）に海舶互市新例が実施されると、信牌や配銅証文などの書役（作成・記録の担当官）を務めた。「大意書」は長崎奉行から老中に送付され、書物の販売許可や紅葉山文庫をはじめとする幕府機関の書籍蒐集のための参考にも用いられた。また、向井家は業務上の記録をよく残したことから、同家の記録が様々な書目作成や近藤正斎の書誌研究などにも用いられた。