Sēļu muiža savu vārdu dabūjusi no Sēlpils pilskunga Kaspara Ziborga von Vislingena, kas to dabūja kā dāvanu no karaļa Augusta Sigismunda 1563.gadā par viņa nopelniem un karalim aizdotiem 600 dālderiem. Vislingens muižu pārdeva Jānim Krauzem. 1629.gadā muižu manto Krauzes meitas dēls Melchiors Bormanis. 1760.g. Sēļi pieder hoftiesas asesoram von Šulcam, bet 1781.gadā brāļiem Gustavam un Reinholdam von Staudeniem, kā mantojums no viņa tēva Joachima. 1809.gadā muižu nopērk Kārlis J.H. von Engelharts, kura pēcnācējiem muiža pieder līdz agrārreformai. No 1922.gada muižas pārvaldnieks bijis Balodis, kurš muižu pārdevis ūtrupē, naudu nosūtījis Engelhartiem uz Holandi. Pats pēc tam emigrējis, iespējams, uz Vāciju. Patlaban muižā iekārtota pagasta valde, bibliotēka, tautas nams, pasta nodaļa un veikals. Saglabājušās divas muižas klētis