Na Hradním náměstí, na místě původní tvrze z 11. století, stával zeměpanský hrad. Pravděpodobně jej nechal vystavět kníže Břetislav I. jako součást obranného pásma proti Uhrům. Dodnes jsou v podzemí ukryty zbytky jeho základů a sklepů. První dochovaná písemná zmínka o hradě pochází z roku 1338. Na hradě byli hosty téměř všichni panovníci. V letech 1428–1431 zde pobýval i Prokop Holý, když táhl s husity na Slovensko. Posledním českým králem, který hrad navštívil na přelomu let 1510–1511, i s celou rodinou a dvorem, byl Vladislav II. Zeměpanský hrad byl roku 1643 vypálen Švédy. Jeho pozdější majitel Lev Vilém z Kounic pak nechal trosky hradu zcela odklidit.