Le premier phare sur le site a été établi en 1700, et le phare actuel a été construit en 1829. Il est situé sur le côté ouest du village de Ydstebøhamn sur l'île de Kvitsøy. Le phare marque l'entrée de l'immense Boknafjord, la principale voie de navigation vers la ville de Stavanger et l'intérieur du comté de Rogaland.
Le phare de 1700, alimenté au charbon, était une nacelle pivotante qui était élevée à 6 mètres du sol. Le seau contenait 170 litres de charbon soit une consommation de 70 tonnes par an.
Le phare de 1829 ne mesurait que 18 m à l'origine. La tour a été agrandie de 8 m en 1959 et a pris 2 m de plus quand elle a été équipée d'une lanterne avec une lentille de Fresnel de 2e ordre en 1910. Le phare a été automatisé en 1969, et a été classé bâtiment historique protégé en 1998. Le phare de Kvitsøy est le plus ancien phare avec une tour en pierre encore en activité en Norvège. Il est ouvert au public les dimanches d'été.