Nejstarší dochovaná písemná zmínka o Židech ve městě pochází až ze 17. století. Roku 1724 a také roku 1783 žilo v Rožmberku 14 židovských rodin, roku 1849 dokonce 23 rodin (130 osob, což bylo zřejmě nejvíce v historii města), roku 1880 pak 53 Židů (3,6 % všech obyvatel), roku 1900 celkem 47 Židů (4,0 %) a roku 1930 už jen 12 Židů (1,2 %).
Židovské domy byly od neznámé doby soustředěny u Vltavy na východním úpatí hradního vrchu. Do dnešní doby jsou z původních čtyř židovských domů dochovány už jen dva patrové domy čp. 102 a 104. Poslední synagoga postavená zřejmě koncem 17. století sloužila k bohoslužbám do roku 1938, během druhé světové války byla adaptována k obytným účelům, poté byla opuštěna a po roce 1966 byla zbořena. Informace o založení starého židovského hřbitova se různí. Někteří badatelé tvrdí, že byl založen v 17. století, jiní, že se tak stalo již v 15. století. Tento židovský hřbitov se nachází na jižním okraji levobřežního hrazeného města a přiléhá k vnitřní straně městské hradby. Historické náhrobky se začaly ničit již za nacistické okupace, po roce 1945 jich byla asi polovina odcizena. Zbylé náhrobky v počtu 45 kusů jsou dnes nevhodně rozmístěny na zahrádce, která je ohrazena zdí s brankou a patří k domu čp. 103. Nejstarší z nich pocházejí z poloviny 18. století. Hřbitov je uzamčen.
Nový židovský hřbitov rožmberské židovské obce byl založen roku 1883 při silnici vedoucí po levém břehu Vltavy z Rožmberka nad Vltavou do Českého Krumlova. Naposledy se zde pohřbívalo roku 1950, kdy tu byl pochován člen rodiny Holzbauerovy. Po roce 1945 byla plocha hřbitova zmenšena a byla zbořena obřadní síň. Celkem se na hřbitově o rozloze 2 290 m2 dodnes zachovalo sto náhrobků, nejstarší je z roku 1883. Hřbitov je volně přístupný.
Zajímavost: Do poloviny 19. století existovaly velmi živé kontakty mezi Židy rožmberskými a lineckými, Židé z hornorakouského Lince byli údajně pohřbíváni na starém židovském hřbitově v Rožmberku.