Jelsa je oblíbeným chorvatským letiskem na severním pobřeží ostrova Hvar. Místní obyvatelé se zde věnují turistickému ruchu, vinařství a výrobě produktů z oliv nebo levandule. Městečko se může pochlubit malebným městským parkem, kostelem ze 16. století nebo pozůstatky antického opevnění a římských staveb. Jelsa má přímé lodní spojení (katamaranem) se Splitem a Bolem.
Okolí Jelsy má převážně přírodní skalnaté pobřeží s betonovými plochami pro slunění. Nejlepší koupání najdete jižně od Jelsy v blízkosti hotelu Hvar, kde se nacházejí i menší písečné zátoky.