Über die ältesten Geschichten des Herrengutes, das wir an der Stelle des heutigen Schlosses ahnen, können wir nicht sprechen, ohne den unfesten Boden von Vermutungen und Hypothesen zu betreten. Die älteste bekannte schriftliche Quelle ist der Eintrag in die Landtafeln aus dem Jahre 1465, der die Teilung der Erbschaft von Ctibor von Zásmuky, anders von Vlčetín, unter seine zwei Söhne Petr und Václav festhält. Die Festung in Lhota erhielt damals der Sohn Petr, der im Testament aus dem Jahre 1492 seine Frau Kateřina zur Vormundin seiner minderjährigen Kinder bestimmte, der zweite Vormund war der Jindřich IV. von Hradec selbst. Vermutlich durch Verkauf ging die Festung bald in den Besitz von Diviš Boubinský von Újezd über, der sie um 1530 an die Ritterfamilie Kába von Rybňany verkaufte.

Von der Familie Kába war der Ritter Jan zweifellos die interessanteste Persönlichkeit, ein tüchtiger landwirt, aktiver Baumeister, der das Prestigeamt des Einnehmers der Fassabgabe im Kreis Bechyňe ausübte. Jan´s unlanges Leben wurde tragisch von der Pertepidemie gezeichnet, die ihm 1557 seine fünf Kinder nahm. Vielleicht war dieses traurige Ereignis der Hauptgrund für den Aufbau der schlichten Schlosskapelle auf der Anhöhe oberhalb des Teiches (die heutige Kirche der Heiligen Dreifaltigkeit). Nach seinem Tod wurde Lhota von Jans drei Söhnen Bohuchval, Zikmund und Jiří geerbt, die jedoch zuerst den ältesten Jaroslav auszahlen mussten. Nach vier Jahren folgte Zikmund seinem Vater ins Jensteits. Die Familien der übrigen zwei Brüder lebten in Lhota im Unfrieden. Das Schloss war kein ruhiges Zuhause mehr. Eher wurde es zum Schauplatz von Geplänkeln, Streitigkeiten und persönlichen Angriffen, bei welchen häufig ein Hieb als ein besseres Argument galt als Worte. Vielleicht gerade eine solche im Gedächtnis zufälliger Zuschauer bewahrte Auseinandersetzung liess nach einiger Zeit die etymologische Volkssage über die gottlose Schlossherrin entstehen, die vom Teufel geholt wurde und an deren tragisches Ende ein blutiger Fleck unter dem Fenster auf der damals schneeweissen Fassade erinnerte. Dieser Fleck sollte der Grund für den späteren roten Anstrich der Schlossfassade sein. Die Volkserzählung wurde auch zum Hauptmotiv des spannenden Prosawerkes von Bedřich Kamarýt, dem Pfarrer in Deštná. In seiner Version baut er jedoch die Verwicklung auf einer konfessionellen Auseinandersetzung der adeligen Ehegatten auf. Dieses Motiv könnte eine reale Grundlage eben im Konflikt beider Familien der Kába haben, da Jiří im Gegenteil zum Katholiken Bohuchval wahrscheinlich Utraquist war.

Im Jahre 1597 Kaufte Jan, der Sohn von Bohuchval, den Teil seines Onkels Jiří und verkaufte das vereinte Herrengut umgehend  an Vilém Rut aus Dírná. Die Familie Rut, in deren Besitz Dírná seit Ende des 14. Jahrhunderts stand, kaufte 1595 Deštná von der Adelsfamilie Rožmberk. Lhota, die dazwischen lag, vereinte die drei Herrengüter und wurde von Deštná nie mehr getrennt. Der letzte Familienangehörige - Bohuslav Rut - musste als Utraquist nach der Schlacht aus dem Weissen Berge das Land verlassen.

Im Jahre 1621 besetzte das Schloss Červená Lhota Antonius Bruccio, der Rittmeister der kaiserlichen Armee, ein italienischer Adeliger, der in den Diensten der Adelsfamilie Slavata den Stand der Konfiskationen in der Umgebung der Stadt Tábot zu ermitteln hatte und eben seit dem Jahre 1621 als Kommandant der Stadtgarnison in Jindřichův Hradec tätig war. Zwischen ihm und der Familie der früheren Besitzer entflammte ein Vermögensstreit, der erst im Jahre 1630 definitiv beendet wurde, indem Červená Lhota an Bruccio für 38.500 Gulden offiziell verkauft wurde. Dieser Betrag wurde ihm jedoch als Entschädigung für den geschuldeten Sold seines Regiments umgehend ausgezahlt. Der eifrige Katholik und grosse Marienanbeter Bruccio erwies sich auch als ein geschickter Diplomat und Landwirt. Er verteidigte erfolgreich die Region gegen die Nachkriegsplünderung, den wirtschaftlichen Aufschwung stärkte er durch den Aufbau eines grosszügigen Heilbads, von dem nur die direkt oberhalb der wunderbaren Mineralquelle gebaute Kapelle des Hl. Johannes des Täufers bis zum heutigen Tag erhalten blieb. Das durch den Krieg entvölkerte Herrengut konnte in kurzer Zeit wieder besiedelt werden und zur allgemeinen Schlichtung der Verhältnisse trug auch das von Bruccio veranlasste allgemeine Treuegelöbnis der Untertanen an die katholische Kirche bei. Im Jahre 1639 starb Bruccio kinderlos, grosse Gaben an die Kirchen des Hl. Ottons in Deštná und des Hl. Johannes des Täufers in Jindřichův Hradec hinterlassend. In der zuletzt genannten Kirche wurde er auch beerdigt. Mit dem Tod dieses Besitzers verlor Lhota die Funktion einer Residenz und alle anderen Eigentümern diente es eher als ein gelegentliches Quartier.

Nach dem Tod von Antonius Bruccio fiel Červená Lhota an die königliche Kammer, von welcher es bereits im Jahre 1641 durch den bedeutenden Adeligen Vilém Slavata von Chlum und Košumberk gekauft wurde, einem Mann der bereits während seiner Studienzeit in Italien vom Utraquismus zum Katholizismus überging und bald zum eifrigen Bewunderer der jesuitischen Spiritualität und Bildung sowie zum treuen Anhänger der Habsburger wurde. Aus dem königlichen Feldmarchall über den Burggrafen von Karlštejn und den Präsidenten der Böhmischen Kammer wurde er zum obersten Hofmeister des kaiserlichen Hofs und bald sogar zum obersten Kanzler des Königreichs Böhmen. Durch die Ehe mit Lucie Otylie von Hradec erheiratete er eine der grössten Domänen im damaligen Böhmen - das Herrengut Jindřichův Hradec. Das dazu gekaufte Schloss Červená Lhota diente als stadtnahes Lustschloss, als Ort für Vergnügen, Feiern und erholung insbesondere der weiblichen Angehörigen der Familie Slavata. Bereits die Generation der Enkel Vilems hatte keine männlichen Nachkommen. Mit der Ehe von Marie Markéta, der zweitgeborenen Tochter von Ferdinand Vilém, dem ältesten von Vilems Enkeln, ging Červená Lhota im Jahre 1693 in den Besitz der Adelsfamilie Windischgrätz über.

Bedřich Arnošt Windischgrätz und sein Sohn Leopold brachten durch veraltete Bewirtschaftung das Herrengut in grosse Schulden. Später empfahl der Vormund des minderjährigen Nachfolgers Josef, das Herrengut zu verkaufen, wodurch es im Jahre 1755 in die Hände der Freiherren von Gudenus überging. Franz de Paula, Freiherr von Gudenus, nahm bald etliche Baumassnahmen vor. Renoviert wurden nicht nur Kapelle des Heilbads in Deštná, sondern auch die hiesige Kirche des Hl. Ottons, die zu dieser Zeit eine aufwendige und prächtige Ausstattung erhielt, welche bis zum heutigen Tag erhalten blieb. Weitere Bauaktivitäten wurden im Jahre 1774 durch einen Brand von Červená Lhota gezwungenermassen unterbrochen, bei dem vermutlich alle wirtschaflichen Gebäude niederbrannten und wahrscheinlich auch das Schlossgebäude beschädigt wurde.

Im Jahre 1776 begrüsste Červená Lhota einen neuen Besitzer, er war der Baron Ignaz von Stillfried, ein innovativer Adeliger aus dem preussischen Schlesien, der das Hailbad von Deštná in private Hände verkaufte und damit dessen ehemaligen adeligen Glanz definitiv begrub. In die Schlossgeschichte schrieb er sich insbesondere als Gastgeber und Gönner des alternden Komponisten, des Mitbegründers der deutschen komischen Oper Karl Ditters von Dittersdorf, dessen Lebenslauf nach einem vierjährigen  Aufenthalt eben auf dem hiesigen Gut zu Ende ging, ein.

Moritz, der Sohn von Ignaz, verkaufte das Gut im Jahre 1820 an Jakub Veith. Hätte dieser unternehmungslustige Industrielle und Gönner tschechischer bildender Künstler mit Lhota irgendwelche Pläne gehabt, so schaffte er wahrscheinlich keinen von diesen zu realisieren. Seine Tochter Teresia verkaufte das Schloss im Jahre 1835 wieder, diesmal in die fürstlichen Hände Heinrich Eduard von Schönburg-Hartenstein.

Heinrich Eduard von Schönburg-Hartenstein, Major der österreichischen Armee, Diplomat und kaiserlich-königlicher Kammerdiener verwitwete nach einer vierjährigen Ehe mit Maria Paulina von Schwarzenberg. Im Jahre 1823 heiratete er die Schwester seiner ersten Frau Luisa und mit ihr wurde er auf dem neu gekauften Herrengut Černovice ansässig, zu welchem er im Jahre 1835 Červená Lhota hinzukaufte, um vier Jahre später die beiden Güter durch den Kauf des Bauernhofs Budislav zu verkoppeln. Der Schlossgrundbesitz erreichte damals seine historisch grösste Ausdehnung. Das Zentrum des Herrenguts war jedoch Černovice, das für Heinrich gleich nach Wien zum zweiten Zuhause wurde. Deshalb ist es erstaunlich, dass er es im Jahre 1872 verkaufte und für seinen Sohn Josef Alexander aus dem südböhmischen Besitz nur Červená Lhota behielt. Josef Alexander, kaiserlich-königlicher Kronrat, war ebenfalls in diplomatischen Diensten tätig. Den gleichen Weg ging auch sein jüngster Sohn und nächster Erbe von Červená Lhota, Prinz Johannes, kaiserlich-königlicher Kammerdiener, Träger des Ordens vom Goldenen Vlies, des Grosskreuzes des Leopoldsordens, des Ordens der Eisenkrone, des Grosskreuzes des Malteserordens und des Christusordens. Er machte insbesondere in der Funktion des ausserordentlichen bevollmächtigten kaiserlich-königlichen Botschafters beim päpstlichen Stuhl im Vatikan auf sich aufmerksam. Der Erste Weltkrieg und der anschliessende Zerfall der so geliebten Monarchie verursachten, dass sich Johannes in die Abgeschiedenheit seines beliebtesten Sitzes - Červená Lhota - zurückzog und dabei genug Zeit für dessen Pflege und Ausbesserung hatte. Im Jahre 1937 wurde er in der hiesigen neu gebauten Gruft beerdigt und somit vor den bewegten ereignissen des neuen Krieges verschont, der einen traurigen Punkt hinter der gesamten adeligen Geschichte machte.

Nach der Übernahme des Schlosses durch den Tschechoslowakischen Staat fand hier im Jahre 1946 ein Kindererholungsheim Platz. Ein Jahr später wurde das Schloss von der Nationalen Kulturkommision übernommen und seit 1949 ist es für die Öffentlichkeit zugänglich.