Das Clay-Haus befindet sich in unmittelbarer Nachbarschaft der Villa Reitzenstein. Es wurde 1921/1922 vom Architekten Albert Eitel für den Stuttgarter Großkaufmann Emil Zarges erbaut. Die Hauptfassade des Hauses ist – wie bei der Villa Reitzenstein – dem Stuttgarter Talkessel zugewandt und bietet von seiner vorgelagerten Terrasse einen fantastischen Ausblick über die Stadt. Das zweistöckige Clay-Haus zeigt eine schlichte, horizontale Fassade und einem langgezogenen Walmdach. Einzige Gestaltungsmerkmale sind unterschiedliche Fensterformen und ein Balkon im Obergeschoss.
Das Innere des Hauses wird über eine hallenartige Diele mit innenliegendem Balkon und seitlicher Holztreppe erschlossen. Im Erdgeschoss sind mehrere großzügige Repräsentationsräume aneinandergereiht, die Wohnräume befanden sich im Obergeschoss.
Der Bauherr Zarges verkaufte das Haus 1934 an die Wehrmacht. Seitdem wurde es von Militärs bewohnt – zunächst von Generälen der Wehrmacht und ab 1945 von amerikanischen Offizieren. Die amerikanischen Mieter benannten das Haus nach General Lucius D. Clay, der zwar nie hier wohnte, aber unter anderem als Vater der Berliner Luftbrücke in die Geschichte eingegangen ist.
Als 2011 der letzte amerikanische General auszog, erwarb das Land Baden-Württemberg das Gebäude von der Bundesimmobilienverwaltung. Während der Sanierung der Villa Reitzenstein war hier der Ministerpräsident mit seinen engsten Mitarbeitern untergebracht. Heute wird das Clay-Haus weiterhin vom Staatsministerium genutzt.
