Det har ikke alltid vært slik, men det har bodd folk i området veldig lenge, fra den gang vannveien var viktigste transport og de fleste var bønder og dyrene beitet hvor byen nå ligger. Fra 1500-tallet oppsto betegnelsen «ladested». Det beskriver et sted hvor embedsmenn drev trelasteksport. Fra 1720 begynte man å skipe trelast fra Holmsbu. Bøndene likte dette dårlig. De ville handle direkte med utenlandske kjøpere, som kom med skutene sine, særlig kom de fra Holland.
Fra rundt 1865 ble fiske en primærnæring i Holmsbu. Innbyggerne talte ca 400 personer fordelt på 89 familier hvor nesten halvparten var fiskere. Det ble fisket etter laks og sjøørret, samt småsild og brisling. I 1930 årene var det to hermetikkfabrikker i Holmsbu hvor de pakket småsild, kjøtt og fisk på hermetikkbokser.
Holmsbu trakk til seg mange kjente kunstmalere takk til det flotte lyset. De tilbragte sommeren i bygda med sine staffeli og malerpensler. Blant dem er Henrik Sørensen den mest kjente, og i dag er det et kunstmuseum i Støa med hans ettermæle og han var hovedmannen bak oppussingen og utsmykningen av Holmsbu Kirke. H.Sørensen er også maleren av de flotte veggmaleriene i Oslo Rådhus.
Sommerturistene fra Oslo og Drammen kom etterhvert til Holmsbu med dampbåten, også kalt «pappabåten» siden mødre og barn bodde her hele sommeren, mens pappaene kom med båten i helgene. Mange gjester kom tilbake år etter år, og skapte et nært forhold til stedet, som ble preget av stabile bånd mellom besøkende og lokalbefolkningen, bestående av fiskere og bønder. Fra 1911 var Holmsbu også hjemsted for en kunstnerkoloni, som knyttet hotellet til landets mest kjente kunstnere. I tillegg fungerte hotellet som festlokale for innbyggerne under store anledninger.
I dag har Holmsbu Badehotell blitt et sted for konferanser og individuelle gjester. Restauranten tilbyr en vakker utsikt over Drammensfjorden og er åpen hele sommeren. Utsmykningen i spisesalen stammer fra Erling Clausen, en kunstner fra kolonien. Han hadde muligens betalt for oppholdet sitt med kunstverk, en vanlig praksis blant kunstnere. Utsmykningen skildrer Holmsbu fra 1930-tallet, med kjentfolk og scener fra dagliglivet, inkludert den fargerike fiskeren Julius Iversen og skuespilleren Erling Drangsholt.
Motivene fanger essensen av livet i Holmsbu før andre verdenskrig, som fiske og sjøfart. En mystisk detalj er bildet av passasjerskipet «Stella Polaris», lik dagens luksuriøse cruiseskip. Selv om skipet aldri besøkte Drammensfjorden, reiser Clausen et spørsmål om han drømte om Holmsbu som cruisedestinasjon.
Reiselivet er fortsatt viktig for Holmsbu, men økt besøk fra cruiseskip kunne vært overveldende for den lille bygden. Dette understreker et ønske hos lokalbefolkningen om å bevare noen hemmeligheter om stedet for seg selv. Holmsbu forblir derfor en kombinasjon av historiske minner og moderne gjestfrihet.
I Holmsbu sentrum finnere du flere vernede trehus, blant annet «Schulerudgården» der Anne Cath, senere Vestly, og brorens Mentz tilbrakte sine barndoms somre.