Noen nøyaktig tidgivning av når Risør ble bygd opp som by finnes ikke, men man antar at dette skal ha skjedd rundt 1560. Skipstrafikken var grunnlaget for byen, noe som gav rask vekst. I 1601 ble Risør nevnt som by for første gang, men det var først i 1723 at byen fikk sin bystatus av kong Fredrik den fjerde. For dette måtte byen betale 250 riksdaler i 120 år. Før dette (1688) hadde myndigheten prøvd å beordre Risørs befolkning til å flytte til Kristiansand. Dette til tross for at skipstrafikken var større i Risør enn Kristiansand den gangen. Befolkningen nektet og måte betale en stor bot på 4000 riksdaler som straff. 

 Strukturen til dagens bykjerne ble lagt etter den store bybrannen i 1861. Hele 248 bygninger brant ned til grunnen, mens 81 bygninger ble reddet. Disse lå hovedsakelig på Vollen, Kamperhaug og Tangen. Men dette var ikke den første store brannen innbyggerne kjente på kroppen. Allerede i 1716 brant 70 hus ned. Branntårnet i Risør kom først på 1880-tallet, i håp om å unngå flere storbranner i byen.

Navnet Risør kommer opprinnelig fra øyene utenfor byen som er tette med ris og kratt. Først bar byen navnet ”Øster-Riisøer”, noe som ble benyttet helt frem til 1905. Først da tok byen Risør som sitt offentlige navn, selv om kortformen Risøer ble benyttet allerede på 1800-tallet. Da kommunene Risør og Søndeled slo seg sammen i 1964, valgte man å kalle hele den nye kommunen Risør.

Antallet innbyggere i Risør er pr. i dag ca. 7000. Allerede så tidlig som 1875 var innbyggertallet på nærmere 2.500, og da uten Søndeled. Dette vitner om en travel skuteby.