Augustiniánský klášter založil v roce 1455 Petr z Lindy. Nevelký rajský dvůr obklopuje pozdně gotická křížová chodba se síťovou klenbou. Věž na severní straně kostela tvoří po přestavbě z roku 1729 charakteristickou dominantu města. V 18. století za probošta Augustina Dubenského byla postavena klášterní prelatura nazývaná též „zámek“. Po zrušení kláštera Josefem II. v roce 1785 koupili klášterní majetek Schwarzenbergové, a proto je jejich rodový znak nad vjezdem do zámku. Ti však v roce 1939 prodali zámek městu, které zde zřídilo školu. Zámek, který je veřejnosti přístupný od generální rekonstrukce roku 2010, nabízí dva prohlídkové okruhy a vždy druhý červencový víkend je i místem konání tradičního borovanského Borůvkobraní.
Zajímavost
V křížové chodbě kláštera je dnes umístěno lapidárium barokních soch včetně originálu mariánského sloupu z Českých Budějovic. V patře je instalováno klášterní muzeum, kde jsou umístěny i originály soch z římovské pašijové cesty.