Die Burg auf einer Anhöhe in den Wäldern des Vértes dürfte ursprünglich ein Jagdschloss gewesen sein, das sich im Grundriss in drei Einheiten gliederte.
Die Umfassungsmauer paßte sich dem Gelände an, der einzige Turm erhob sich an der Längsseite.
Die erste Burg stand bereits im 14. Jahrhundert, hier wurden 1338 von Königin maria und 1387 von König Sigismund Urkunden ausgestellt. Bis Mitte des 15. Jahrhunderts war die Burg in königlichen Besitz, dann gehörte sie den Geschlechtern Rozgonyi und Ujlaki.
Mit König Sigismund verbindet sich die zweite Bauperiode der Burg. Auch in dieser Zeit diente sie keinerlei militärischen Zwecken.
Das ändere sich nach 1526. Nun war Gesztes mit dem Schicksal von Tata verknüpft. 1529 wurde die Burg von den Türken belagert. Als 1536 die Kunde von der Einnahme Tatas eintraft, ergriff die kleine Burgwache kampflos die Flucht. Als Tata 1543 niederbrannte, wurde auch Várgesztes angezündet.
Die Ungarn hatten einst den Weg zur Burg mit einer Wolfsgrube gesichert. Die Türken errichteten 1588 Befestigungen. Später wechselte die Burg noch mehrmals den Besitzer und war schließlich dem Verfall preisgegeben. Die Familie Esterházy gestattet 1733 den Kamaldulensern, als sie ihr Ordenshaus in von Mark beuten, „die gemeißeltern Steine von dort fortzutragen”.
Az „Ungarische Burgen" című könyvet az Officina '96 Kiadó adta ki 2000-ben, szerzők: Dercsényi Balázs, Kaiser Ottó és Koppány Tibor.
A kötet Magyar várak című képes album a Magyar kastélyok című kötet sorozatszerű folytatása. Kaiser Ottó fotóművész mintegy 200 - részben légi - felvétele látványosan illusztrálja a kötetben szereplő 40 várat, várkastélyt és várromot. Ezzel az albummal a magyar történelem egyik "látleletét" adjuk át a tisztelt olvasónak. A kötet tanulmányával és látványos képeivel azt mutatja be, hogyan épültek váraink a korai Árpád-kortól a XVI. század derekáig, miként védték királyainkat és a földesurakat házuk népével egyetemben. Láttatja a magas falak védelmében zajló életet és azt a művészeti környezetet, amely hiteles tükre az építtetők ízlésvilágának.