Sur le site de l'actuel château s'élevait une seconde forteresse, plus jeune, probablement construite au milieu du XVe siècle après l'abandon de la première, située au sud-ouest de Kácov, sur la rive gauche de la Sázava, près de Soušice. Comme Kácov a été divisé entre plusieurs propriétaires au tournant des XIVe et XVe siècles, il n'est pas exclu que deux forteresses aient coexisté pendant un certain temps.
La forteresse située sur le site du château est datée de 1473, date à laquelle les trois quarts de la forteresse appartenaient à Kuneš d'Olbramovice. Le bâtisseur a choisi un site dans la partie sud de Kácov, au bord d'une pente rocheuse tombant abruptement sur la rivière Sázava. Cette pente formait une fortification naturelle, complétée du côté nord par une fortification artificielle, qui a aujourd'hui complètement disparu. Après plusieurs reconstructions, il est impossible de retrouver la forme originale de la forteresse.
En 1627, sous le règne de Jan Oktavián Kinský, une révolte de serfs éclate sur le domaine de Kákovský et les rebelles pillent la forteresse. Ce n'est qu'en 1630 que Benigna Katherine de Lobkowitz la fit réparer et agrandir. Un petit château baroque à un étage fut construit, avec un rez-de-chaussée en pierre et un premier étage en bois. Le château fut encore agrandi sous la propriété de František Scheidler. Entre 1727 et 1733, la princesse toscane Anna Maria Franziska fit reconstruire le château en ruine de Kács, négligé par ses précédents propriétaires endettés, dans le style d'une résidence baroque de la noblesse du nord de l'Italie. La reconstruction a complètement modifié l'apparence de l'ancienne forteresse, a supprimé les derniers vestiges des fortifications et seuls quelques murs de fondation de l'ancien bâtiment ont été conservés. Le nouveau château a été construit sur un terrain accidenté, de sorte que sa façade sud, qui fait face à la rivière Sázava, comportait deux étages, tandis que la façade nord, qui comprenait l'entrée principale, n'en comportait qu'un seul. Le château était basé sur un plan rectangulaire, les côtés ouest et est, plus courts, étant décorés de projections en forme de tours. Ces saillies étaient aussi hautes que le bâtiment principal et étaient donc accentuées par des tours baroques en forme d'oignon. À l'intérieur, l'axe du bâtiment du château était un couloir traversant les deux étages et qui, dans sa partie la plus haute, surmontait le toit du château sous la forme d'une demi-matte rectangulaire, créant ainsi une silhouette typique du château. Le couloir constituait l'entrée de la plupart des pièces. Les intérieurs étaient décorés principalement de stucs. La décoration la plus riche se trouvait dans la chapelle du château. La façade était décorée de peintures murales représentant divers personnages dans les fenêtres aveugles. Le château était séparé de la place par un mur simple avec une porte baroque. Le château a été conservé sous cette forme pratiquement jusqu'à aujourd'hui.
Le complexe du château se compose de trois parties : le château lui-même, l'église paroissiale et la cour des cendres. Un couloir de liaison de 150 mètres de long entre le château et l'église, aujourd'hui inopérant et jusqu'à récemment utilisé pour les archives de l'État, complète l'ensemble de manière fondamentale. L'ensemble historique a été modifié après 1920 par la construction d'une fauconnerie à l'emplacement du grenier à blé. Toutefois, cette modification a été précédée par la suppression du cimetière et de ses murs autour de l'église sur la base des règles d'hygiène modernes. De l'enceinte du cimetière, il ne reste que la chapelle Saint-Florian, patron des pompiers, que l'on ne peut manquer en traversant la ville.