Nach dem Untergang des Römischen Reiches (476 n. Chr.) drangen verschiedene Barbarenvölker über die unverteidigten Grenzen ein.

Über das heutige Ungarn, Österreich und Friaul kamen die Ungarn zu uns – ein besonders grausames und wildes Nomadenvolk aus dem Osten, das dank unseres milden Klimas auch im Winter Futter für seine Pferde finden konnte.

Castel Merlo existierte mit Sicherheit bereits im 9. Jahrhundert: Ein Dokument aus dem Jahr 912 (10. Jahrhundert), das im Kloster Santa Grata in Bergamo (heute noch in Betrieb) gefunden wurde, berichtet von einem Streit zwischen dem Kastellan Graf Martinengo und der Äbtissin des Klosters von Seranica (Villongo) über die Lehensrechte der beiden Parteien (das Urteil fiel jedoch zugunsten der Nonnen aus).

Um 1450 eroberte Venedig, das sich im Krieg mit den Visconti von Mailand befand, die Gebiete von Brescia und Bergamo und verfügte, dass alle eroberten militärischen Festungen in zivile Wohnhäuser umgewandelt werden sollten. So wurde Castel Merlo (wie auch andere Burgen im Calepio-Tal) in Landhäuser oder Klöster umgewandelt. Nach mittelalterlichen Konflikten und geschichtlichen Wechselfällen und nachdem es in den Besitz verschiedener Adelsfamilien übergegangen war, gehört Castel Merlo heute der Familie Buelli, die ihm zu neuem Glanz verholfen hat. Im Rahmen der Sanierung wurden auch die Fresken aus dem 17. Jahrhundert restauriert, die während der Pest des vorhergehenden Jahrhunderts mit gebranntem Kalk überdeckt worden und in Vergessenheit geraten waren.
Der antike Ursprung ist noch heute überall im Schloss zu spüren. Die kunstfertige Sanierung durch den Architekten Alessandro Agrati hat eine fantastische Atmosphäre geschaffen.