栗島彦八郎は武蔵国拝島（現拝島町）に生まれ、乙幡常次郎家の三代前の跡取りとして成長したが、のちに旗本栗島家の養子となり、江戸・本郷に居住するようになった。安政2年（1855年）あか月には、幕府が韮山反射炉および造船事業の一環として建造したスクーネル（西洋式小型帆船）の担当役人に選ばれ、江川太郎左衛門とともに名簿にその名を記されている。
安政5年（1858年）3月9日には御小人目付として御留守居を訪れ、蘭国領事館到着の件を川越藩へ伝達しており、その際には前年の亜米利加使節来訪を前例として心得を申し渡したと、川越藩の日記に記録されている。文久元年（1861年）7月には、英国海軍による本国沿岸測量要求に際し、立会人兼保護役として荒木済三郎、立石得十郎らとともに英国測量艦アクテオン号に乗り込み、測量に同行した。
万延元年（1860年）の遣米使節では、正式に御小人目付として49歳で随行した。また、従者として武州八王子千人町の坂本泰吉郎（20歳）を伴って渡航した。帰国後について確実な記録は少ないが、明治元年にも御小人目付として栗島彦八郎の名が見え、維新前後まで幕府の下級役職として職務にあたっていたことが確認できる 。
維新以降、故郷の拝島へ戻ったかどうかは不明であるが、墓所は拝島町の竜津寺（昭島市拝島町）に現存する。
