Tvrz je mohutná dvoupatrová palácová budova obdélníkového půdorysu, v jádru pochází z konce 13. století, ale později byla vícekrát přestavována. Největší část dochovaného zdiva pochází ze sklonku 15. století. Musíme předpokládat, že se původně jednalo o jeden opevněný areál se sousedním kostelem (dnes Všech svatých, dříve zasvěceném sv. Václavu), o čemž máme i písemné doklady v souvislosti s místními válkami v druhé polovině 15. století. Nejvýraznějším a posledním zásahem, pokud nepočítáme moderní úpravy, byla přestavba na panskou sýpku někdy v 2. polovině 17. století. Tehdy budova zcela ztratila svou dřívější rezidenční i správní funkci, členění interiérů prakticky zmizelo. Panské obilí zde bylo skladováno až do roku 1909, ale již na podzim předchozího roku byla tvrz zakoupena městem Volyně od proboštského velkostatku. Byl vypracován projekt adaptace, ve kterém se počítalo jednak s umístěním veřejné čítárny a knihovny a rovněž také s prostory nově zřizovaného krajinského muzea, a to včetně bytu domovníka, k realizaci plánů architekta Františka Valcháře však následně nedošlo a vše se odsunulo až na pozdější dobu. Ale následně bylo rozhodnuto, že tvrz bude určena pouze pro muzeum, které zde bylo pro veřejnost trvale zpřístupněno až 9. května 1956. Na severní straně nádvoří je zachována obranná hradební zeď s příkopem a šestibokou nárožní baštou z doby kolem roku 1470. Spodní část hradeb a celého areálu bohužel zanikla v roce 1912 při budování silnice směrem k sousedním školám. Za hlubokým příkopem, který býval pravděpodobně napájen z hradčanských rybníků, k tvrzi navazuje rozlehlá děkanská zahrada – sad, dříve celá obehnaná vysokou kamennou zdí. Archeologický průzkum v areálu tvrze probíhal v 70. a 80. letech 20. století, byl ale pouze částečný, takže řada dílčích zjištění o stavebním vývoji a historii volyňského panského sídla je stále skryta.