Entisen virolaisten linnan paikalle alkoi kohota kivilinna vuonna 1224. Lopullisen muotonsa ja kokonsa linna sai 1500-luvun alkuun mennessä. Se oli huomattavimpia linnoja Viron ja Latvian alueilla. Ritarilinnasta on jäänyt Ruotsin, Puolan ja Venäjän välisten sotien vuoksi pystyyn vain muutama kiviseinä. Linnan raunioista ja sen ympärillä olevasta puistosta tuli viljandilaisten virkistysalue jo viime vuosisadan alussa. Yli 13 metriä syvän vallihaudan ylikulkureitiksi asennettiin vuonna 1931 riippusilta Kaivomäeltä, jotta kaupungista pääsisi linnamäelle. Raunioilta avautuu kaunis näköala Viljandin järvelle.