Il primo documento che attesta la presenza di un castello a Spilimbergo risale al 1120.
Il problema del toponimo ha trovato recentemente una soluzione: deriverebbe dai temi germanici spenge- nel significato del falco, e – berg nel senso di castello o collina del falco, similmente alla cittadina di Monfalcone.
Nel 1313 è noto che il castello fu ampliato e restaurato per mano di Giovanni da Spilimbergo, in seguito a diversi assedi susseguitisi durante il XII secolo.
Sul lato nord ( a sinistra ) il primo palazzo che si incontra è il Palazzo Tadea, distrutto dall’incendio del 1511 e ricostruito nel 1566 per opera di Tadea moglie di Bernardino di Spilimbergo.
Proseguendo si vede il Palazzo ex Ciriani, oggi Furlan. Al suo interno si trova un fregio di 11 metri di lunghezza e tre medaglioni in stucco, realizzati da Giovanni da Udine, e un affresco del Pordenone “ La Minerva alata”; l’edificio severo nell’insieme, con muro faccia a vista, presenta finestre di pietra in stile rinascimentale.
Il Palazzo Troilo edificato da messer Troilo in seguito all’incendio del 1511, nel 1544 fu affrescato da Marco Tiussi con pitture che ben presto si rovinarono; nel 1864 quando il Friuli era sotto l’autorità austriaca, il palazzo venne affidato al Comune e fino al 1968 fu utilizzato come carcere, accoglie l’Ufficio Turistico dello Spilimberghese e la Galleria d’arte “La Torre”, gestiti entrambi dalla Pro Spilimbergo.

Il Palazzo più importante e di maggior effetto scenico è il Palazzo Dipinto ricostruito alla fine del Trecento sulle rovine di un edificio distrutto a seguito di un incendio; questo fu l’unico che scampò alla distruzione provocata dall’incendio del 1511.
Fu abitato da Irene di Spilimbergo e ospitò Carlo V nel 1532, Bona Sforza di Polonia, la regina di Polonia nel 1556 e anche Enrico III di Francia nel 1574.
Ciò che colpisce è l’estensione dell’affresco con motivi come cavalli impennati, dame e paggi; l’opera artistica realizzata pare dal Brunello, esprime anche la bellezza originale.  
Attualmente al piano terra il palazzo ospita il ristorante “La Torre”.