L’esistenza del Palazzo di Sopra risalgono agli inizi del 1300, quando a Fulcherio venne assegnata la “cerchia” di Valbruna, in seguito a una divisione patrimoniale, con il compito di costruirvi un  “ castrum ” e un fossato.
Nel Maggio del 1499 un concordato permette a Paolo ( figlio di Odorico di Spilimbergo) e ai nipoti, di ampliare e migliorare l’edificio esistente.
La notorietà di questo Palazzo è legata al fatto che ospitò la sede dell’Accademia Parteniana  tra il 1538 e il 1541, istituzione sostenuta da Adriano di Spilimbergo e diretta da Bernardino Partenio, nelle ampie sale gli studenti potevano dedicarsi ai loro studi giornalieri.
L’attuale aspetto del palazzo è riconducibile a una serie di interventi effettuati tra il Cinquecento e il Seicento, però dopo il terremoto del 1976 però, il palazzo che aveva conosciuto dei momenti di splendore, venne abbandonato.
La facciata del palazzo conserva l’originaria decorazione, che si rifà a temi mitologici, storici e floreali conferendo all’edificio una certa maestosità ed eleganza.
Per arricchire ulteriormente le sale, il Comune ha acquistato dei raffinati lampadari realizzati con il vetro di  Murano.
Ciò che rende ancora più ricco questo luogo è il panorama che si gode: si può infatti ammirare il letto del Tagliamento e il territorio circostamte fino ai monti della Carnia.
Dell’oratorio di San Rocchetto, che sorgeva a ridosso della cinta murata attorno al palazzo, sono oggi visibili solo le fondamenta.
Era costituito da un’aula rettangolare di circa sette metri e si presentava molto sobrio, in contrasto con la ricchezza del palazzo.
La sua distruzione risale ai primi del Novecento e, in seguito a un incendio scoppiato nel 1918, le poche tracce che erano rimaste vennero cancellate.