В средневековые времена Хавеа была небольшой территорией, ограниченной крепостной стеной XIII века, увенчанной угловыми башнями. Возможно одна из этих башен была башней Ен-Кайрат. Она сохранилась до сегодняшних дней и по-видимому, являлась одним из элементов более раннего здания.
Значительный демографический рост, испытанный городом в XV веке привел к расширению Хавеи, поскольку старый участок, ограниченный крепостной стеной, стал слишком мал для возросшего населения. В конце этого или в начале XVI веков периметр крепостной стен изменили для того, чтобы построить новые дороги. Таким образом план крепостных стен изменился — теперь они проходили по тем дорогам, которые в настоящее время окаймляют город. Входы в город располагались там, где сегодня находятся Портал Сан-Висент или де-ла-Феррериа, Портал дель-Клотили, де-Сант-Джауме и Портал де-ла-Мар.
Следуя средневековому плану, город продолжал развиваться вокруг церкви Святого Варфоломея. Недалеко от церкви, в разные эпохи, возвели самые символичные и важные здания местных буржуа.
Как например готические дома от XV до XVII веков, расположенных на улицах Сор Мария-Гальарт (Sor Mª Gallart), на площади церкви (Pl. de l’Església), Санта Мария (Sta.Marta), Сор Каталина Бас (Sor Catalina Bas), Сан-Пере-Мартир (S. Pere Martir), Метдже Гонсалес (Metge González), Матджор (Major), и на улице Эстрет (Estret). Один из самых важных примеров готической гражданской архитектуры — это Дом Сапена (Palau dels Sapena) (XV века), построенный на площади црекви (Pl. de l’Església). В дизайне дома особенно выделяются эллиптические арки в галерее и бифории (сдвоенное окно, в котором арки перекрывают оконные проемы) или тройные окна.
Рядом с Порта-дель-Мар, вход в город со стороны порта, поселились моряки. Здесь, в 1515 году, построили церковь дель-Лорето, которая покровительствовала морякам, хотя в 1870 году ее снесли. В настоящее время здесь стоит небольшое здание, построенное в 1954 году из туфа, в неоготическом стиле.
В конце XVIII века и на протяжение XIX, местная буржуазия начала экспортировать изюм и, эти же землевладельцы решили построить свои роскошные дома вокруг церкви. Как например: Дом дельс-Болуфер, Дом де-лес-Примисиес, Дом Арнауда (или де-ла-Сеньорета-Хосефина), Дом Абадия, Дом Монтальбана (Капитан флота галет из семьи Болуфер), и Дом де-Тена, в настоящее время Ка-Ламберт. Последний дом, построенный в 1857 году, в котором в начале XX века находилась аптека, был восстановлен как Дома культура.
В 1805 году в крепостной стене открыли четвертые ворота — Порталь Ноу, которые в настоящее время находятся на площади Марина-Альта. Но уже в 1869 и 1874 годах, крепостные стены окончательно снесли, чтобы приступить к расширению города и построить Эйксампле (расширение). Благодаря этому в городе построили широкие проспекты, чтобы можно было легче перевозить товары с площади дель-Конвент, куда вели главные торговые дороги, до порта. В настоящее время эти большие улицы располагаются на проспектах Принсеп-д’Астуриес, где богатые землевладельцы продолжали строить свои дома, и Д’ Алакант, где поселилась часть буржуазии города.
В Хавеи до сих пор сохранились типичные строения, которые свидетельствуют о важности торговли изюмом — это так называемые «риурау», сельская каменная конструкция с большими арками или «ульс» (глаза); в них сушился и хранился виноград. Один из самых больших риурау — это Риурау де-лос-Катала-д´Арнауда, который недавно перенесли с его первоначального местонахождения в Парк Монтанер.