På ryggen i det skålformede landskapet finner vi mange store gravhauger. De forteller at her har det vært et mektig høvdingsete. Gravene er fra folkevandringstiden og opp til vikingtiden, fra år 500 til år 1000 etter Kristus. De har en vakker beliggenhet i kulturlandskapet mellom fjorden og åsene. Det er spor av plyndring i noen hauger.
Det fortelles at presten på 1830-tallet ba noen tjenestefolk grave inn i en haug. Da så de et merkelig lys over prestegården, som en brann. De løp bort for å undersøke, men alt var i orden. Da de tok til å grave igjen, kom det samme lyset. Da var det slutt med graving.
I 1815 mottok sokneprest Jacob Neumann kronprins Karl Johan og prins Oscar. Han tok dem med til toppen av gravhaugen som ligger ved prestegården, senere kalt Prinsehaugen. Neumann skriver at «staaer man paa Prindsehøien ved Asker Præstegaard» ... så ser man «som i et Panorama, Christianiafjordens Løb lige ud til Drøbak, og det amphitheatralske yndige Landskab rundt om sig».