Navnet Jarlsberg var Gyldenløves idé og ble etablert offisielt i 1685. I 1683 ble grevskapet solgt til feltmarskalkløytnant i Norge friherre Gustav Wilhelm Wedel, som ble opphøyet til greve året etter.
Grevskapet ble værende i slekten, også etter at grevskapsordningen var opphevet. Hovedbygningen på Jarlsberg ble påbegynt i 1684 og sto ferdig ca. 1700. Den ble ombygget og tilpasset nye generasjoner og fikk sitt nåværende utseende i 1814. Den ble da endret til en empirebygning med valmtak.
I motsetning til grevskapet Larvik lå forholdene dårlig til rette for industriell virksomhet i Jarlsberg, som i stedet baserte inntektene på tradisjonell godsdrift med landbruk.
Etter Wedels overtakelse av grevskapet fikk Tønsberg by tilbake sin status som kjøpstad og var ikke som Larvik underlagt greven og grevskapets administrasjon.