Още през бронзовата епоха около храма на Дионис се оформя голям култов център с храмови и жилищни постройки, известен като Двореца-светилище на Перперикон.
През римската епоха комплексът претърпява значителни преустройства. Достъпът през скалния проход е прекъснат и входът се премества към западната крепостна порта.
Крепостните стени са били с дебелина над 2 м и изградени в характерната за траките суха каменна зидария.
През западната порта се достига до южния вход на двореца, който води към вътрешен двор. В северната част на двора е издълбан скален трон. Предполага се, че сградата е била на три или четири етажа, за което свидетелстват запазените ниши за дървените греди на конструкцията.
