A l’origine se dressait sur les lieux où était situé le château-fort une forteresse de laquelle nous est rappelé au cours de la 1ère moitié du 14e siècle Herman Chvalovsky de Ledec, mais qui s’écrivait ici de Zruc.
Sur les lieux du château actuel de Kacov se trouvait une forteresse plus jeune qui a été construite probablement dans la moitié du 15e siècle après ce que la forteresse plus ancienne est devenue déserte qui s’étendait au sud-ouest de Kacov sur la rive gauche de la Sazava près de Sousice.