Kolgat tunti alati suurepärase mõisahoone tõttu, aga seal asus kuni 1940. aastani ka Eesti paremaid portreekogusid. Maalid olid Stenbockide perekonnast ja teiste hulgas ka Gustav Vasa kolmanda naise Katarina Stenbocki portree. Kõige kuulsama maali maalis Jacob Elbfas, mis II maailmasõja keerdkäikude tulemusena asub praegu Poolas. Lossi juurde kuulusid ka rohtaed, põllud, viinavabrik ja tellisetehas, viimati nimetatu asus Loksal.
Mõnda aega elas aias taltsutatud karu, kelle kinkis üks vene suurvürst. Räägitakse, et puu külge seotud karu oli sõbrunenud ühe türgi pardiga, kellega nad sõid samast kausist ning pärast sööki magas part karu käppade vahel.
