Hvitsten kan takke fru Bolette Marie Olsen for at stedet fikk sitt kapell. Da sogneprest Ludvig Bærøe kom til Vestby i 1901, fikk han den hyggelige velkomsthilsen fra henne at hun for egen regning ville få oppført et kapell i Hvitsten, et tilbud som ble mottatt med begeistring og takk av så vel sogneprest som biskop. Så ble Hvitsten kapell reist og innredet - på initiativ og bekostning av fru Bolette Olsen, på det stedet vi nå alle kjenner, og det ble overdratt til kommunen med et legat til vedlikehold. Kapellet ble innviet 11. februar 1903 av biskopen i Oslo, Anton Chr. Bang, og det ble ved å ha status som kapell til 1. mars 1998. Fra denne dato ble Hvitsten kapell godkjent som kirke.
Arkitekt for Hvitsten kapell ble vestbymannen Harald Sundby. Sundby var opptatt av stavkirkene, og trekk fra dragestilen kan gjenkjennes i kapellet i Hvitsten, samtidig som det kjennetegnes ved sitt kraftig dimensjonerte klokketårn. Veggene er oppført av bindingsverk med utvendig mørkebrun staffpanel, med spissbuede vinduer. Kirkerommets stolper og takbjelker er forsynt med utskårne dragehoder. Taket er tekket med vosseskifer. Klokkene ble støpt ved Nauen klokkestøperi ved Tønsberg. De bærer årstallet 1902, og navnene Bolette og Petter Olsen.