Původní kateřinská tvrz stávala v jižní části obce u lesa Hájek. V urbáři z roku 1610, kdy náležela Ctiborovi Chorynskému z Ledské, je popisována jako jednoposchoďová budova, zčásti z kamene, zčásti ze dřeva, s mnoha pokoji. Ohodnocena je zde částkou 500 zlatých. Při této tvrzi je uváděn velký hospodářský dvůr, chlévy, pivovar a dvě velké štěpnice. Okolo tvrze byly dvě zahrádky a dvě kuchyňské zahrady. Tvrz byla vystavěna na malém pahorku chráněném ze všech stran rybníkem, jehož původní rozloha je i v současném terénu dosti zřejmá.
Teprve za Maxmiliána a Václava Harasovských, brzy po roce 1698, byl rybník zrušen a původní vodní tvrz byla přestavěna na barokní zámek. Za Vetterů z Lilie byl již objekt tohoto zámečku, jenž sloužil jako lovecký, ve značně zchátralém stavu a připomíná se již jen jako sídlo zdejšího kontrolora a purkrabího.
V první polovině 19. století v něm byl nakrátko zřízen panský zájezdní hostinec, který byl okolo roku 1855 přeložen do budovy zvané Dolní dvůr. Do roku 1938 byl pak využíván jako sýpka. V prvém poschodí byly sýpky, také se tam nacházel zvonec ve výklenku, který ohlašoval poddanému lidu nástup do práce, poledne a ukončení práce. K budově byla také přistavena dosti velká pekárna. Ke dvoru patřila asi 1/3 výměry pozemků a lesů celé obce. Pozemky nesly pomístní názvy: U Panské cesty, Kamenec, U Osičiny, Stáčník, Vzteklé hony, U Ovčírny, Černá zahrada, Kamenný rybníček, V Důlkách a Nový dvorek. Okolní lesy nesly názvy: Osičina, Hájek, Březina, Peklisko.
V zámku byla na jedné straně hospoda zároveň s palírnou lihu a na straně druhé byl ubytován takzvaný správce. Vedle zámku na severní straně stávaly veliké kůlny a vepřince. V jednom traktu kůlny, která byla upravena na tzv. jedno poschodí, byla dole umístěna řezačka na slámu. Nahoře byl v podlaze vyřezán kulatý otvor, v němž bylo z desek asi 3,50 m kolo opatřeno příčkami, uprostřed kola silný sloup, jenž měl na koncích čepy, kterými byl u stropu upevněn přes kolo a také u podlahy, kde byla sečkovice. Zespod vedl most upravený pro vola, kterého vodili nahoru jako pohon kola. V postranní stěně byla zaražena skoba s delším řetězem, na který zavěsili rozparku, zapřáhli vola a při vzepření se kolo začínalo točit a řezačka se dala do chodu.
Na straně západní stály veliké dřevěné stodoly s podjezdem do dvora. Na straně jižní byly rozsáhlé chlévy pro hovězí dobytek, vedle budova pro šafáře a čeledník. Na jižní straně asi 200 m od zámku stávala hájovna. Ke dvoru patřila také budova tzv. ovčírna. V ní byla umístěna stáda ovcí, která byla v létě vyháněna na pastvu a na louky V Důlkách a Osičině. Ovce měl na starosti ovčák. Na jedné straně ovčírny byly místnosti pro stroje na výrobu sýrů a tvarůžků s bytem vedoucího, který dohlížel na dělníky.
Kolem dvora se rozprostíraly četné rybníky, které se táhly až skoro k samé vesnici. Ještě dnes jsou patrné hráze, které předělovaly jejich části, obzvláště na novém dvorku - dnešní louky v místě retenční nádrže. Podobně tomu bylo i kolem zámku a po obou stranách silnice. V polovině 17. století byly rybníky vypuštěny. V kopci Kamenném je dodnes studna, od které vedly dřevěné roury v zemi dolů pod kopec, kde stávaly čtyři veliké lípy s dřevěným křížem uprostřed. Zde byla také vybudována koryta, ze kterých se napájel dobytek ze dvora. Dřevěný kříž v 60. letech 20. století bohužel nevydržel a spadl. Pod lípami si nechávala hraběcí rodina při svých projížďkách na koních z Nové Horky přinést občerstvení.
V roce 1994, kdy byla v obci zahájena plynofikace, byla vykopána jediná zachovalá dřevěná trubka z tohoto rozvodu. Trubka byla vyrobena z borovice o délce 4 m, převrtána středem otvorem o průměru 70 mm. Na jedné straně byla kovová spojka, která byla zasazena do kmene a spojovala kmeny navzájem a zároveň i těsnila.
Součástí Horního dvora byl i pivovar, kde byla spilka i kádě. Pivo se zde však nevařilo, fojtové i krčmář brali pivo z Choryně, která patřila od roku 1605 panu Ctiborovi Chorynskému. Odhadovalo se však, že pivovar ponese až 80 zlatých ročně, až bude v provozu. (Budova, kde se vařilo v Choryni pivo, stojí naproti zámku a byla spojena podzemní chodbou.)
V lese Peklisku, jdeme-li proti prameni potoka, po levé straně asi 200 metrů od místa, kde stála hájovna, byla vykopána pokusná jáma za účelem hledání uhlí.
Podle vyprávění starých lidí byly na loukách nového dvorku (v prostorách dnešní přehrady a přilehlých polí) usazeny tři rodiny. V roce 1920 byly viditelné znaky zašlých statků, ze kterých byly rodiny patrně násilně vystěhovány. Dvě jména se udržela v paměti, a to Březina a Hájek, podle nichž jsou pojmenovány přilehlé lesy Hájek a Březina. Přilehlé pozemky byly pravděpodobně jejich grunty.
Objekt zámku však nebyl udržován a postupem času chátral, až se roku 1944 zřítila i původní střecha. Část zámeckého objektu byla proto z bezpečnostního důvodu zbourána a zbytek byl přestavěn na hájovnu, která se stala majetkem Československých státních lesů. Z původní tvrze se do současnosti zachovala část pozdně gotických kamenných klenutých sklepů a stará kamenná studna o průměru 1,2 metry a 7 metrů hluboká. Asi třetina objektu má dochované původní zdivo z barokního zámku s klenutými stropy.
Není bez zajímavosti, že v osmdesátých letech 20. století, kdy byl objekt opuštěn, tak zde členové české archeologické společnosti nalezli poměrně bohatou kolekci keramických střepů, z nichž nejstarší lze datovat do 14. a 15. století.
