I likhet med flere andre norske byer startet det historiske engasjementet innenfor byens sjøfartsmiljø, og Larvik Sjømannsforening, som ble stiftet i 1849, samlet inn kulturhistorisk materiale, ved siden av hovedformålet som var å ta seg av sjømennenes ve og vel. Foreningen Larvik Sjøfartsmuseum startet opp som en forlengelse av det eldre initiativet i 1926.
Det første museumsinitiativet i Larvik kan spores tilbake til 1901 og den kulturhistoriske utstillingen i Kristiania, der Larvik by var representert med en stor samling. I årene som fulgte var både museumstanken og engasjementet for byens historie fra tid til annen tema i lokalavisene og kommunale saker.
Sogneprest Thorbjørn Frølich skrev for eksempel i 1904 til arkitekt Herman Schirmer i Fortidsminneforeningen om den såkalte «Herregård» i Larvik, en bygning som skulle være oppført av grev Gyldenløve. Ti år senere forfattet byens magistrat og politimester Kristen Simensen en sterk appell om å slutte opp om etableringen av et museum i byen. Appellen ble trykt i både Østlandsposten og «Amtstidende» og etter hvert ble museumsetableringen knyttet tettere opp mot grevens residens.
Larvik og omegn museumsforening
Filolog og rektor for middelskolen Karl Emil Bødtker var en sterk pådriver for museumssaken og skrev en rekke artikler om Herregårdens fortid i lokalavisene. Den 11. mars 1916 ble Larvik og omegn museumsforening stiftet. Foreningens formålsparagraf var;
«at faa i stand et museum for Larvik og Omegn. Museets formaal er at samle og bevare alt, hva der kan belyse byens og distriktets kultur i de svunne tider og spesielt at bevare og saavidt mulig bringe Herregaarden tilbage i dens gamle skikkelse.»
I 1962 ble det inngått en avtale mellom Larvik kommune og foreningen Larvik sjøfartsmuseum om disposisjon av eiendommen Kirkestredet 5 til museumsformål. Foreningen flyttet inn i lokalet i mai 1962.
Larvik Bymuseum
I 1979 ble stiftelsen Larvik Bymuseum etablert med Larvik og omegn Museumsforening, Vestfold fylkeskommune og Larvik kommune som parter. Stiftelsen besto fram til ny organisering 1. januar 1995 da det helkommunale Larvik Museum ble opprettet. Museet ble de første årene kalt Larvikmuseene.
Da Larvik Museum ble opprettet i 1995 fikk institusjonen ansvar for samlingene til Foreningen Larvik Sjøfartsmuseum og Larvik og Omegns Museumsforening. I disse årene hadde museet kontor og utstillinger i Herregården og drev også museumsvirksomheten i Kirkestredet 5. I 2002 flyttet museet kontorer og utstilling fra Herregården til Verksgården på Langestrand.
I 2007 ble Colin Archer-skøyta ”Jærbuen II” kjøpt med bidrag fra Larvik kommune og Sjøfartsmuseet. Den driftes av Larvik Museum i samarbeid med Foreningen Larvik Sjøfartsmuseum.
