1621年の平戸図:右上の小島が黒子島。平戸湾に面した弁財天の建物が描かれている。(オランダ国立文書館所蔵)。
島の南西部には平戸湾に面するように弁財天が祀られている。これは松浦勝(平戸勝)が五島列島の小値賀島から遷祀したものとも言われ[2]、オランダ国立公文書館所蔵の1621年の平戸図にも建物が描かれていることから既に江戸時代初期には現在と同じような形で祀られていたことがわかる。
1863年(文久3年)には弁財天のほぼ反対側にあたる北東海岸に異国船警固の目的で台場が築造され、現在もその跡が残されている。同様の台場は黒子島の他に平戸島の叶崎、南竜崎(なんりゅうざき)、中之崎、獅子駒崎などにもあった[3]。
第二次世界大戦前の一時期には避暑地として利用され、旅館の出店等もあったが現在はその痕跡は分かりにくくなっている。戦後は1951年に「黒子島原始林」として国の天然記念物に指定され、1955年には西海国立公園の特別保護地域にも指定された。1969年(昭和44年)には長崎国体相撲競技への臨席のため平戸を訪れた昭和天皇が島に立ち寄っている[4]。