Slik innleder arkeolog Nicolaysen (1817-1911) sitt kapittel om Kvitsøy kirke, i sin årbok fra 1886. Dette er en sannhet med modifikasjoner. Det var en kirke i tidlig norsk middelalder ca. 1050 viet til St. Clemens og frem til reformasjonen, hvor den etter sigende ble demontert og enten brukt i koret til Stavanger Domkirke eller klosteret på Utstein. Når den gamle kirken ble demontert og den nye bygget er usikkert.
Den nåværende kirke ble bygget en gang før 1591. Dette vet vi fordi det ble betalt kirkeskatt for Nøstvold kirke. Kvitsøy kirke ligger på en del av gamle Nøstvold gård, som var prestegård tilhørende presten på Rennesøy, og er det eneste sted i Rogaland med dette navn. I skattelistene fra 1560 årene finnes det ikke henvisning til Nøstvold eller Kvitsøy kirke. Det vil derfor være naturlig å anta at den ble bygget en gang i denne perioden, sannsynligvis tett opp til 1591. Dette gjør den til den første kirke bygget
i Rogaland etter reformasjonen i 1536 så langt vi vet i dag. Det tok tid etter en slik kraftanstrengelse å få råd til å anskaffe innredningen som altertavle og prekestol. Disse var sannsynlig ikke på plass slik vi ser det i dag, før 1620 årene.
Den ble restaurert i 1797, da ble koret lagt til. I 1841 ble kirken isolert innvendig og utvidet med den vestlige delen. Tårnet ble bygget inn i kirken.
Kirken er innvendig dekorert med rosemaling som ble gjenoppdaget under en stor restaurering og utvidelse som ble utført på 1950 tallet. Det er denne dekorasjonen, sammen med altertavlen fra samme periode, som gjør kirken så spesiell som den er. Før denne siste restaureringen var kirken malt hvit innvendig også prekestolen som også er vakker i sine gamle farger.
Etter en "forvaring" på Norsk Folkemuseum i Oslo på over 90 år er altertavlen nå endelig tilbake til kirken.
Det har vært en kamp som alle menighetsråd etter den store restaureringen på 1950 tallet har tatt opp med sentrale myndigheter. Men først når kommunen og biskopen i Stavanger, Ernst Baasland, stod sammen med soknerådet og daværende kirkeverge Anne Marie Svendsen, fikk vi tilbakeført klenodiet.