V době tureckého nebezpečí, ve druhé pol. 16. století byl majitel panství Jan III. ze Žerotína jmenován hlavním vojenským velitelem Moravy a podle nařízení opevňoval pohraniční města. Největší péče byla věnována zabezpečení příchodů do města na hlavní cestě od Skalice do Veselí. Byly zbudovány dvě brány s věžemi a bočními baštami. Brány dostaly jméno „Veselská“ a „Skalická“. Jejich pojmenování přetrvalo dodnes. Z obou bran se zachovaly pouze boční bašty.