Václav z Vartemberka založil Milčany jako základnu svého panství, které postupně plánovitě rozšiřoval. V roce 1547 se však účastnil neúspěšného povstání proti králi Ferdinandu I. a velká část majetku mu byla odebrána. Když roku 1552 zemřel, hrad zdědila jeho žena Kateřina a rodový majetek začala znovu rozšiřovat. V nedalekých Zahrádkách nechala postavit hrad Nový Vítkovec, později přejmenovaný na Nový Zámek, v novější historii známý jako zámek Zahrádky.
Původní Vítkovec po smrti Kateřiny v roce 1560 sloužil jako sídlo panských úředníků. Poslední zmínka pochází z roku 1622 ze soupisu zabaveného majetku Jana z Vartemberka po bitvě na Bílé hoře.
Definitivně hrad Vítkovec zanikl během třicetileté války. Jeho zdivo bylo použito při stavbě kostela v Holanech. Návštěvníci zříceniny na skalním ostrohu mohou dodnes vidět zbytky příkopů, valů a zdí. Nejzachovalejší pozůstatek hradu je roh paláce, který je vysoký sedm metrů.
Zřícenina hradu je celoročně volně přístupná.
-
Dneboch, 295 01, Mnichovo Hradiště
-
V Pevnosti, 128 00, Praha 2
-
Bohy, 331 41, Bohy
-
Hradní, 680 01, Boskovice