Situado en el punto más al sur de un promontorio rocoso, en la confluencia de los ríos Smutná y Lužnice, un castillo de piedra protegió en tiempos remotos el territorio situado en los alrededores. Ese era el castillo original de Přemysl Otakar II, del que apenas se han conservado vestigios.
Tuvieron que pasar varios siglos antes de que los Sternbeg decidieran reconstruir aquella fortaleza original pero adaptándola a un palacio de su agrado. Pero es a Petr Vok de Rožmberk a quien se le debe que hoy día sea uno de los conjuntos más bellos de nuestro país. Este famoso noble transformó el palacio en una magnífíca mansión renacentista, con trampantojos en el patio y hermosas decoraciones de estuco, una de las más bellas la encontramos en el Salón de Bodas de Vok. La galería de retratos infantiles del palacio tampoco tiene competencia en Europa.
En el parque inglés del palacio se pueden ver loros, y cabras de Camerún, entre otros animales; y al sur del palacio sorprende a los visitantes una enorme muralla defensiva llamada el Muro del Diablo.