Hvitsten ligger hvitmalt og idyllisk til ved Oslofjorden, omtrent midt mellom Drøbak og Son. Tettstedet har to populære badestrender, Hvitsten strand med sjøbodene og Emmerstadbukta som ligger et par kilometer sør for sentrum. 

Hvitsten er et av Oslofjordens første sommerferieparadiser på slutten av 1800-tallet. Hvitsten ble et rekreasjonssted for besøkende fra Kristiania (Oslo). Det idylliske stedet hadde en sterk tiltrekningskraft på datidens kunstnere og kulturelite samt de velbemidlede fra hovedstaden. I dag er det cirka 350 fastboende og cirka 600 sommerhus i Hvitsten.

Hvitsten hadde bystatus,ladested uten status som bykommune, fram til 1964, da Vestby kommune ble opprettet.

Ramme Gaard, som er en kulturdestinasjon, ligger rett utenfor Hvitsten. ​

Sjøbodene - Vestbys kulturminne 1997

De gamle sjøbodene på brygga er kommunens 1000-års kulturminne.

Ved Hvitsten bodde i sin tid den vise kongsmannen Nevstein, gift med Harald Hardrådes halvsøster Ingrid, datter til dronning Åsta og kong Sigurd Syr på Ringerike. Strandstedet Hvitsten lå en tid under Drøbak tollsted, men vokste til ladested og ble en viktig utskipningshavn for tømmer til Holland og is til England alt på 1600-tallet. Etter å ha stagnert en tid etter 1700, vokste Hvitsten igjen utover på 1800-tallet ved at skipsredere hadde skip i opplag her, og mannskap og offiserer bosatte seg her.

I 1875 var det på Hvidsten Gård er registrert 17 handelsskip i ladestedet. Bjelkehuggeren Petter Olsen startet her det som senere skulle bli det kjente rederiet Fred. Olsen. Snart ble stedet slik vi kjenner det i dag, en uregelmessig bebyggelse med små en- og toetasjes trehus spredt mellom fjellknausene, bundet sammen av trange, bakkete gater. Hvitsten hadde 81 fastboende i 1950.

Kunstnerstedet

Skipsrederfamilien Olsen har satt sitt preg på Hvitsten. Petter (1821-1899) og hans kone Bolette Olsen (1828-1922) bodde her og gav i 1887 både bedehus og skole til Hvitsten. Hvitsten skole er en av de eldste i Vestby og er i dag kontorbygg for noen av Fred. Olsens virksomheter.

Hvitsten kirken som ble bygget i 1903, var også en gave fra Bolette Olsen. Petter og Bolette hadde 7 barn og Fred.Olsen (1857-1933) var den som har markert seg mest. Han flyttet rederiet til hovedstaden i 1902, omskapte det fra seil til damp og senere til motor – og har med rette fått monument i Hvitsten. Det er han som opprettet malingsfabrikken Stabil ytterst på odden i 1905.

Utearealene i sentrale Hvitsten er utsmykket med gallionsfigurer fra en rekke Fred Olsen-båter.

Andre kunstnere fant også sin vei til Hvitsten:

  • Theodor Kittelsen kjøpte seg hus i Hvitsten 1892 og hadde en meget produktiv periode mens han bodde i her.
  • Oscar Arnold Wergeland bodde også i Hvitsten og er mest kjent for maleriet Riksforsamlingen på Eidsvoll fra 1814 – en gave til stortinget 1885.
  • Sigrid Undset har også bodd i Hvitsten. Emmerstadbukta er modell for Hestviken i hennes roman "Olav Audunsøn i Hestviken".
  • Bosted og ferieparadis for Nicolai Wergeland, Edvard Munch, Th. Kittelsen, Christian Krogh, Hans Jæger og Lasson-døtrene Oda og Bokken.

Edvard Munch

Edvard Munch kjøpte eiendommen Ramme, nord for Hvitsten i 1911. Munch levde et mer tilbaketrukket liv i denne perioden, og lot seg inspirere av landskapet. Han bodde på Nedre Ramme gård til sin død i 1944. 

Hans tid på stedet er lite kjent innen norsk kunsthistorie, til tross for at han malte flere av sine storslåtte verk her. Arkeologiske utgravninger på Ramme i 2012-13 har avdekket ny kunnskap om denne perioden i hans liv og virke.