Paiden ritarilinnaa ryhdyttiin rakentamaan vuonna 1265. Linnan rakentamiseen käytettiin paikallista valkoista kalkkikiveä. Ensimmäinen rakennelma Vallimäellä oli Pikk Hermann – kahdeksankulmainen vahtitorni, jonka perääntyvä neuvostoarmeija tuhosi vuonna 1941. Vallitorni rakennettiin uudelleen vuonna 1993 Yrjönyön kapinan 650-vuotispäiväksi.
Mielenkiintoista tietää: Paideen rakennettu linnoitus oli Viljandin jälkeen toinen ritarikunnan Viron alueelle rakentama linna. Paiden Vallitornista tuli Paiden kaupungin ja Järvamaan vaakunan symboli. Paiden Vallimäellä on neljän kapinassa teloitetun virolaisen päällikön muistomerkki.