Bergets plassering hadde naturlige fordeler når det gjaldt å bygge en borg.
Utsikten fra øst mot sør viser de sydlige delene av Slagen og sundene rundt Husøy og ut i Oslofjorden. I klart vær kan man se over til Østfold!
I sydvest kunne man se den gamle bykjernen med havnen, kanalen, Nøtterøy og Vestfjorden.
I nordvest har man oversikt over fjorden og landområder og ikke minst raet, åsen der Vestfolds hovedvei har gått siden forhistorisk tid til dagens E18.
Berget var trolig i forhistorisk tid sentralt i et signalsystem som besto av varder og utsiktstårn langs kysten. Berget hadde i tillegg betydning som kontrollpunkt for innseilingen til Oslofjorden og dermed bygdene innenfor.
Når ble borgen tatt i bruk?
Første gang vi hører om Berget er i 1165 under kong Valdemar av Danmarks flåteferd til byen. I det danske historieverket Gesta Danorum nevner Saxo Grammaticus at ”en liten flokk av Erlings tilhengere forsøkte å redde livet ved å flykte opp på en høy klippetopp”. Ved samme anledning skal Valdemar ha latt være å brenne byen, på grunn av alle kirkene som lå ”spredt mellom de private boligene”.
I året 1168 kom kong Valdemar tilbake til byen. Den norske riksstyreren Erling Skakke holdt seg unna og unngikk militær konfrontasjon. I følge Saxo tok innbyggerne i Tønsberg i mot Valdemar med en ærbødig prosesjon. Valdemar besteg fjellet og innså at det var «ganske uinntakelig, for her overgikk naturen alt hva mennesker kan konstruere».
Den virkelige utbyggingen av steinborgen som ble til Tunsberghus, ser ut til å ha begynt på 1200-tallet. Byggingen fortsatte utover 13- og 1400-tallet. Borgen var et maktpolitisk sentrum helt fram til den ble brent og revet ned i 1503 under de nordiske unionsstridene.
Etter at Tunsberghus brant ned i begynnelsen av 1500-tallet fulgte noen århundrer med ytterligere forfall. Visste du at mange av de gamle husene i Tønsberg er bygget på steiner fra ruinene? Det var ikke uvanlig å hente stein fra ruinene på Slottsfjellet til byggeprosjekter i byen.