Zvārtavas pili 1882.gadā cēla Luīze un Gotlībs fon Ferzeni. Pils slieksnī iekalti vārdi "Hic habitat Felicitas, nihil mali intret" - te mājo laime, neviens ļaunums nenāks. Fon Ferzenu dzimtai Zvārtava pieder līdz Pirmajam pasaules karam. Pēc kara agrārreformas laikā īpašumu nacionalizē.
No 1922.gada pilī tapa iekārtots Aizsargu nams un to pārvaldīja Latvijas Aizsargu organizācija.
Pēc Otrā pasaules kara, līdz 1969.gadam pilī bija skola, un tās pagrabus vietējais kolhozs izmantoja kā noliktavas. Pašlaik Zvārtavas pils ir Latvijas Mākslinieku Savienības īpašums, kurā atrodas mākslinieku jaunrades nams un viesnīca.