Malgrat que aquest castell es coneix des de finals dels anys cinquanta del segle passat, quan va ser excavat per Miquel Oliva, en el moment de la descoberta es datava sense massa precisió entre els segles XI i XIII i no se li va donar molta importància. Atès que l’objectiu principal de les intervencions arqueològiques en aquesta zona i en aquell moment eren les estructures d’època ibèrica, una part de les restes arquitectòniques del castell varen ser desmuntades.
El castell es va construir sobre l’antiga àrea sagrada de la ciutat ibèrica i actualment es conserven, sobretot, restes de la muralla meridional i els basaments de les quatre torres cantoneres. Aquest recinte fortificat era de petites dimensions, de planta trapezoïdal, i tenia dos fossats a la banda septentrional i occidental per reforçar-ne la defensa. A partir de l’escassa documentació catalana que es conserva del segle IX i principis del segle X, s’ha pogut deduir que s’anomenava castellum Uellosos, essent una de les construccions militars més antigues de l’Empordà.
La construcció del castell en aquest turó s’ha de relacionar amb la seva posició estratègica i, encara que es tracta d’una petita elevació, des d’aquí es podia controlar una gran extensió del territori circumdant. Sobre les restes del castell, abandonat cap a mitjan/segona meitat del segle X, es construí l’església de Sant Andreu de l’Estany que es data, a partir de la documentació conservada, almenys del segle XIII. La nau d’aquesta ha restat integrada, parcialment, com a part de l’estructura arquitectònica del museu monogràfic construït a finals dels anys cinquanta del segle passat.
L’any 2019 s’ha realitzat una recreació virtual d’aquest castell, declarat Bé Cultural d’Interès Nacional, amb la voluntat de fer-lo visible i intel·ligible per al gran públic. Per la seva reconstrucció s’ha emprat el mateix procés que es va seguir en la reconstrucció de la ciutat ibèrica d’Ullastret, caracteritzat pel rigor científic en la part arqueològica i pel màxim realisme en la presentació visual. En aquest sentit, per a la part històrica, s’ha comptat amb la col·laboració i assessorament de l’Institut de Recerca Històrica de la Universitat de Girona.
Restitució del castell carolingi emplaçat al Puig de Sant Andreu (segles VIII - IX).