Il Castello di Scavolo, nominato anche Scubituli, a sud ovest di Sant’Agata Feltria, appartenne in origine alla Santa Sede, che lo teneva ancora nel 1298, poi passò alla Chiesa Sarsinate. È però scientificamente provato che il borgo fosse abitato già ai tempi degli Umbri, popolazione precedente temporalmente agli Etruschi. Soggetto ai Della Fagiola e ai Tariati, ripassò poi alla Santa Sede. Nel 1410 Gregorio XII lo infeudò al nipote Paolo Carrer dopodiché lo occupò Federico da Montefeltro sconfiggendo Sigismondo Malatesta. Nel 1490 Innocenzo VIII lo concesse come fortilizio militare ai Fregoso, Dogi fuoriusciti da Genova e stabilitisi nella Rocca di Sant’Agata Feltria. Il Castello di Scavolo venne poi assediato ed occupato da Cesare Borgia, il Duca Valentino, quando il conte Guidobaldo da Montefeltro riuscì a salvarsi avventurosamente.
Nell’età Napoleonica fece parte del Dipartimento del Rubicone. Gli avanzi del Castello, situati sul poggio, sono stati adattati con opportune modifiche e restauri ad uso abitazione, essendo scomparse quasi completamente le opere di fortificazione. Il palazzo dei Della Fagiola, restaurato dai Pagetti nel 1822 assieme alla chiesetta trecentesca e ad alcune casupole dalle linee architettoniche coeve, è passato poi per linee ereditarie alla famiglia Ghetti che lo detiene tuttora.