Helt tilbake til 1100-tallet har Oslos biskoper holdt hus i dette området. Dagens bispegård er bygget på restene av Olavsklosteret, et dominikansk kloster som trolig ble grunnlagt i 1239. Frants Berg var den første biskopen som flyttet inn der i 1554. Bygningen ble utbedret og bygget om i 1623, og så i 1860 ble det bestemt at den skulle rives på grunn av stort forfall.
I 1882 vedtok imidlertid Stortinget at bispegårdens middelalderdel skulle bevares. I 1883-84 ble den nye bispegården oppført på ruinene til Olavs-klosteret. Det er i dag tre rom i kjelleren som er bevart fra det gamle klosteret. Ett av dem ble i 1968 omgjort til et kapell for bispegården. Her er det spor av veggutsmykningen fra 1200-tallet i taket.
Fram til midten av 1980-tallet ble huset brukt som privatbolig for Oslo biskop. Siden 1986 har administrasjonen til biskopen og bispedømmerådet hatt sine kontorer og representasjonslokaler der. Hele bygningen ble pusset opp innvendig i 1999-2000, og mange av rommene fikk da tilbake sine opprinnelige farger.
Biskoper som har vært knyttet til Oslo bispedømme:
- 1541-1545 Hans Rev
- 1545-1548 Anders Madssøn
- 1548-1580 Frants Berg
- 1580-1600 Jens Nilssøn
- 1601-1607 Anders Bendssøn Dall
- 1607-1617 Niels Senning
- 1617-1639 Niels Simensen Glostrup
- 1639-1646 Oluf Boesen
- 1646-1664 Hennings Stockfleth
- 1664-1699 Hans Rosing
- 1699-1712 Hans Munch
- 1713-1730 Bartholomæus Deichman
- 1731-1737 Peder Hersleb
- 1738-1758 Niels Dorph
- 1758-1773 Fredrik Nannestad
- 1773-1804 Christian Schmidt
- 1805-1822 Fredrik Julius Bech
- 1823-1845 Christian Sørensen
- 1846-1874 Jens Lauritz Arup
- 1875-1893 Carl Peter Parelius Essendrop
- 1893-1896 Fredrik Wilhelm Klumpp Bugge
- 1896-1912 Anton Christian Bang
- 1912-1922 Jens Frølich Tandberg
- 1922-1937 Johan Lunde
- 1937-1951 Eivind Josef Berggrav
- 1951-1968 Johannes Smemo
- 1968-1973 Fridtjov Søiland Birkeli
- 1973-1977 Kaare Støylen
- 1977-1998 Andreas Aarflot
- 1998-2005 Gunnar Stålsett
- 2005-2017 Ole Christian Mælen Kvarme
- 2017-2024 Kari Veiteberg
- 2025– Sunniva Gylver
Foto: Oslo bispegård