Existenci původní tvrze na místě nynějšího zámku předpokládáme někdy od poloviny 14. století. Prvním písemným pramenem je zápis učiněný do desk zemských až roku 1465. Zaznamenává dělení pozůstalosti Ctibora ze Zásmuk, jinak z Vlčetína, mezi jeho dva syny Petra a Václava. Snad prodejem přešla posléze tvrz do držení Diviše Boubínského z Újezda, který ji někdy kolem roku 1530 prodal rytířské rodině Kábů z Rybňan.

            Z rodiny Kábů byl bezesporu nejzajímavější osobností rytíř Jan, schopný hospodář, aktivní stavebník, věrný habsburský služebník, který zastával prestižní úřad výběrčího posudného v kraji Bechyňském. Jeho nedlouhý život byl tragicky poznamenán morovou epidemií, která mu v roce 1557 vzala pět dětí. Snad právě tato smutná událost byla hlavním motivem ke stavbě prosté zámecké kaple na návrší nad rybníkem (dnešní kostelík Nejsv. Trojice.) Po Janově smrti dědili Lhotu jeho tři synové Bohuchval, Zikmund a Jiří, kteří však nejprve museli vyplatit nejstaršího Jaroslava. Zikmund po čtyřech letech zemřel a rodiny dvou zbylých bratrů Bohuchvala a Jiřího žily na Lhotě ve sváru. Zámek jim přestal být klidným domovem a změnil se v jeviště šarvátek, hádek a osobních výpadů. Snad některá z  rozmíšek uchovaná v paměti náhodných diváků dala po čase povstat lidové etymologické pověsti o bezbožné zámecké paní odnesené ďáblem, jejíž tragický konec připomínala krvavá skvrna pod oknem na tehdejší sněhobílé fasádě. Tato skvrna měla být příčinou pozdějšího červeného nátěru zámeckých omítek. Lidové vyprávění se stalo hlavním motivem napínavé prózy deštenského faráře Bedřicha Kamarýta.

Roku 1597 Bohuchvalův syn Jan odkoupil díl svého strýce Jiřího a takto sjednocené panství obratem prodal Vilému Rutovi z Dírné. Rutové vlastnící Dírnou od konce 14. století, přikoupili roku 1595 od Rožmberků Deštnou. Lhota nacházející se uprostřed mezi nimi všechna tři panství propojila a od Deštné se již nikdy neoddělila. Poslední z Rutů, Bohuslav, jako utrakvista musel po Bílé Hoře opustit zemi.

Roku 1621 byla Červená Lhota obsazena Antoniem Brucciem, rytmistrem císařského vojska, italským šlechticem, který, jsa ve službách Slavatů, zjišťoval stav konfiskací na Táborsku a právě od roku 1621 působil jako velitel městské posádky v Jindřichově Hradci. Horlivý katolík a velký mariánský ctitel Bruccio se ukázal být i dobrým diplomatem a hospodářem. Úspěšně bránil region proti poválečnému rabování, hospodářskou prosperitu Deštné posílil velkorysou výstavbou lázní, z nichž se do dnešních dob dochovala pouze kaple sv. Jana Křtitele, vybudovaná přímo nad zázračným minerálním pramenem. Válkou vylidněné panství se podařilo v krátké době opět zabydlet a ke všeobecnému urovnání poměrů přispěl Brucciem iniciovaný všeobecný slib věrnosti poddaných katolické víře. Roku 1639 zemřel Bruccio jako bezdětek, odkázav velké dary deštenskému kostelu sv. Ottona a hradeckému kostelu sv. Jana Křtitele, v němž byl také pochován. Smrtí tohoto majitele ztratila Lhota rezidenční funkci a všem ostatním byla spíše jen příležitostným bytem.

 Po Brucciově smrti připadla Červená Lhota královské komoře, od níž ji roku 1641 koupil významný šlechtic Vilém Slavata z Chlumu a Košumberka. Jeho průbojnost, diplomatický takt, vzdělanost a veliká inteligence mu otevřely záhy cestu k vysoké úřední kariéře. Z královského maršálka se přes karlštejnského purkrabího a prezidenta České komory stal nejvyšším hofmistrem císařského dvora a záhy dokonce nejvyšším kancléřem Království českého, v kterémžto úřadě přes několik rezignací zůstal až do smrti. Sňatkem s Lucií Otýlií z Hradce vyženil jedno z největších pozemkových dominií v tehdejších Čechách – panství hradecké, k němu přikoupená Červená Lhota plnila funkci příměstského letohrádku, místa zábav, slavností a odpočinku zejména ženských příslušnic slavatovského rodu. Již generace Vilémových vnuků se nedočkala mužských potomků. Červená Lhota sňatkem druhorozené dcery Ferdinanda Viléma, nejstaršího z Vilémových vnuků, Marie Markéty přešla roku 1693 do držení Windischgrätzů.

Bedřich Arnošt Windischgrätz a jeho syn Leopold zastaralým způsoben hospodaření přivedli panství do velkých dluhů. Posléze poručník jejich nezletilého nástupce Josefa panství navrhl k prodeji, kterým je roku 1755 získal rod svobodných pánů z Gudenusu. František de Paula svobodný pán z Gudenusu záhy přikročil k četným stavebním akcím. Opraveny byly nejen kaple lázní v Deštné, ale i tamní kostel svatého Ottona, který se v této době dočkal nákladného velkolepého vybavení dochovaného dosud. Další stavební aktivity byly roku 1774 násilně přerušeny požárem Červené Lhoty, při němž shořely patrně všechny hospodářské budovy.

Roku 1776 již vítala Lhota nového majitele, byl jím baron Ignác Stillfried, pokrokový šlechtic z pruského Slezska, který záhy prodal deštenské lázně do soukromých rukou, a tím definitivně pohřbil jejich někdejší aristokratický lesk. Do dějin zámku se zapsal především jako hostitel a mecenáš stárnoucího hudebního skladatele, spolutvůrce německé komické opery, Karla Ditterse z Dittersdorfu, jehož životní pouť se po čtyřletém pobytu končí právě na zdejším panství.

Ignácův syn Mořic prodal panství roku 1820 Jakubu Veithovi. Měl–li tento podnikavý průmyslník a mecenáš českých výtvarníků se Lhotou nějaké plány, tak z nich patrně nestihl nic realizovat. Jeho dcera Terezie roku 1835 zámek opět prodala, tentokráte do knížecích rukou Heinricha Eduarda Schönburg-Hartensteina.

Heinrich Eduard Schönburg-Hartenstein, major rakouské armády, diplomat, c. k. komoří, se usadil roku 1823 na nově zakoupeném panství Černovice, k němuž roku 1835 přikoupil Červenou Lhotu. Centrem panství byly však Černovice, které se Heinrichovi staly hned po Vídni druhým domovem. Je proto s podivem, že je roku 1872 prodal a pro svého syna Josefa Alexandra uchoval z jihočeského majetku jen Červenou Lhotu. Josef Alexandr Schönburg-Hartenstein, c. k. korunní rada, byl rovněž činný v diplomatických službách. Stejnou cestou kráčel i jeho nejmladší syn a další dědic Červené Lhoty princ Johann, c. k. komoří, nositel řádu zlatého rouna, velkokříže Leopoldova řádu, řádu Železné koruny, velkokříže Maltézského řádu a Kristova řádu. Upozornil na sebe především ve funkci mimořádného zplnomocněného c. k. vyslance u papežské stolice ve Vatikánu. První světová válka a následný rozpad tolik milované monarchie způsobily, že se Johann stáhl do ústraní svého nejmilejšího sídla, Červené Lhoty, maje dost času k jeho zvelebování a vylepšování. V roce 1937 ulehl do zdejší nově vybudované hrobky, a byl tak ušetřen pohnutých událostí nové války, která se stala smutnou tečkou za celou šlechtickou historií.

Po převzetí zámku Československým státem zde v roce 1946 nalezla místo dětská ozdravovna. Rok na to byl převzat Národní kulturní komisí a od roku 1949 je zpřístupněn veřejnosti.