Domājams, ka Valtenberģes nosaukums cēlies no muižas īpašnieka B. Falkenberga, kurš šeit saimniekojis 16. gs. vidū. Pēc zviedru veiktās muižu redukcijas Valtenberģe nonāca valsts īpašumā, bet pēc Ziemeļu kara 1724. gadā to ieguva cara galma tiesas viceprezidents Veinholds Georgs fon Falkerzāms. Pēc muižas īpašnieka Vilhelma Georga fon Falkerzāma ierosmes 1780. gadā tika uzcelta šī neoklasicisma stila muižas ēka, par kuras autoru tiek uzskatīts Drēzdenes arhitekts Frīdrihs Augusts Krubzācijs (Krubzacius, 1718–1790). Pils bija tik lakonisks un arhetektoniski pilnīgs darbs, ka pārbūves laikā 20. gadsimta sākumā Vilhelms Ludvigs Nikolajs Bokslavs (Bokslaff, 1858–1945) veica tikai nelielas izmaiņas iekšpusē un uz jumta. Pils tika rekonstruēta 1932. gadā, lai to piemērotu pamatskolas vajadzībām. Kaut arī 1976. gadā netālu tika uzcelta jauna skolas ēka, pils joprojām tiek izmantota skolas vajadzībām