Berger kirke er anlagt på Berger gårds grunn i 1895. Den har store likhetspunkter med Arna kirke ved Bergen og har et typisk vestlandsk preg i sin utforming. Kirken kom som en naturlig del av oppbyggingen av Berger Fabrikker og Fossekleiva Spinneri på 1890 tallet. Kirken har 300 sitteplasser og er tegnet av arkitekt Schak-Bull i Bergen.
I årene 1948 - 49 gjenomgikk kirken en omfattende restaurering innvendig. Denne er utført i samarbeid med arkitekt Arnstein Arneberg og professor Axel Revold. Revold står dessuten for alterbildet i kirken.
Berger kirke var i privat eie frem til 22. juni 1967, da den vederlagsfritt ble gitt som gave fra familien Jebsen til Svelvik kommune. Orgelet er fra 1896 og ble restaurert i 1985.
Kirkerommet er til en viss grad universelt utformet. Det er trinnfri adkomst til selve kirkerommet, men det er ikke rampe opp til koret. HC-toalett er tilgjengelig i kirkens bårehus.