Ένας απότομος βράχος που αντιστέκεται στο πέρασμα του χρόνου για να θυμίζει την σημαντική του ιστορία. Ο Σκάρος υπήρξε μια πολύβουη καστροπολιτεία με 200 σπίτια, καλντερίμια και εκκλησίες. Ο πιο σπουδαίος από τους πέντε οχυρωμένους οικισμούς της Σαντορίνης.
Σήμερα δεν διασώζονται πολλά κομμάτια του οικισμού. Tο αρχικό κάστρο ήταν γνωστό και ως «Επάνω Κάστρο» ή «La Roka» και χτίστηκε από το Ενετό Giacomo Barozzi. Οι κάτοικοί του ήταν γνωστοί ως Καστρινοί.
Ο Σκάρος ήταν η πρωτεύουσα της Σαντορίνης μέχρι τον 18ο αιώνα, αν και η εκκένωση του οικισμού είχε ξεκινήσει στις αρχές του 17ου αιώνα. Ο βράχος είχε κλονιστεί επανειλημμένα από ισχυρούς σεισμούς. Οι σεισμοί κατά τις εκρήξεις του 1650, 1701-1711 και 1866-1870 προκάλεσαν σημαντικές ζημιές. Φαίνεται πως οι σεισμοί την περίοδο 1701-1711 είναι που ώθησαν τους κατοίκους να τον εγκαταλείψουν οριστικά, σε συνδυασμό με το γεγονός ότι είχε περάσει πια η εποχή της πειρατείας και δεν υπήρχε λόγος οι νησιώτες να στριμώχνονται σε απόκρημνα και δύσβατα σημεία.
Στον φυσικά οχυρό βραχώδη όγκο επέλεξαν οι νέοι άρχοντες να ιδρύσουν την πρωτεύουσά τους: εκεί έκτισαν το δουκικό παλάτι, τον καθεδρικό ναό (ντόμο) και έδρα του καθολικού επισκόπου του νησιού, μοναστήρια και αρχοντικές κατοικίες. Το 1480 το νησί παραδόθηκε στον Ντομένικο Πιζάνι, γιο του δούκα της Κρήτης, ως προίκα για το γάμο του με την κόρη του δούκα της Νάξου, πριγκίπισσα Φιορέντζα. Οι περιγραφές των εορτασμών που συνόδευαν την παράδοση του Κάστρου περιλαμβάνουν πολύτιμες μαρτυρίες για την εικόνα της πόλης. Περίπου εκατό χρόνια αργότερα το Δουκάτο του Αιγαίου περνάει πλέον στην κατοχή της Οθωμανικής Αυτοκρατορίας.
Ο Σκάρος υφίσταται μεγάλες καταστροφές από τον τρομερό σεισμό του 1650. Οι κάτοικοι αποφασίζουν τότε να εγκαταλείψουν το περιοριστικό και επικίνδυνο περιβάλλον του Κάστρου και τη δύσκολη ζωή που περιγράφουν πολλοί περιηγητές και να ιδρύσουν νέο «μητροπολιτικό» κέντρο στα Φηρά. Η μετοίκηση ολοκληρώθηκε τις τελευταίες δεκαετίες του 18ου αιώνα, μετά τον περιορισμό του πειρατικού κινδύνου. Το 1850, στη θέση της παλιάς ακμάζουσας πολιτείας υπάρχουν μόνο τάφοι και ορνιθοτροφεία, γράφει ο περιηγητής Leycester.
Ο πρωταγωνιστικός ρόλος της κοινότητας του Σκάρου στην πνευματική ζωή του νησιού την περίοδο της ακμής του διαφαίνεται από το πλήθος και τη σημασία των μονών που ιδρύθηκαν εντός του Κάστρου. Από τις παλαιότερες είναι η μονή Δομηνικανών μοναχών της Αγίας Αικατερίνης της Σιέννας, η οποία ιδρύθηκε στα 1595 από τον Μαρίνο Δαργέντα, γόνο του εκλατινισμένου κλάδου της βυζαντινής αυτοκρατορικής οικογένειας των Αργυρών.
Έντονη υπήρξε και η δραστηριότητα του τάγματος των Ιησουϊτών, όπως αποδεικνύει η λειτουργία σχολείου στο Σκάρο. Υπήρχαν επίσης ορθόδοξοι ναοί όπως της Αγίας Ειρήνης και της Αγίας Θεοδοσίας μπροστά από την πύλη του Κάστρου, καθώς και η μονή Αγίου Νικολάου, η οποία ιδρύθηκε το 1651 από την εξελληνισμένη λατινική οικογένεια των Γκύζη. Σ΄ αυτές τις μονές, καθολικές και ορθόδοξες, υπηρέτησαν ως μοναχοί γόνοι επιφανών οικογενειών της Θήρας.
Με πληροφορίες από το κείμενο της καθηγήτριας αρχιτεκτονικής ΑΠΘ Κλαίρης Παλυβού, που δημοσιεύτηκε στο περιοδικό Santorini Guidebook