
Το φρούριο του κάστρου, ή Καζάρμα (Casa di arma), αποτελούσε το στρατώνα της φρουράς ή το διοικητήριο κατά την Ενετοκρατία, ένα δηλαδή από τα οικοδομήματα της Μεσαιωνικής Σητείας η οποία περιβαλλόταν με τείχος. Η οχύρωση της πόλης και η Καζάρμα χρονολογούνται στην ύστερη βυζαντινή περίοδο. Οι πειρατικές όμως επιδρομές, οι συχνές επαναστάσεις των κατοίκων κατά τη διάρκεια της ενετικής κατοχής ακόμα και οι σεισμοί επέφεραν αλλεπάλληλες καταστροφές στα τείχη και στην Καζάρμα, μέχρι που οι ίδιοι οι Ενετοί αναγκάστηκαν να τα καταστρέψουν με σκοπό να τα επιδιορθώσουν, πράγμα που δεν έγινε τελικά. Στην περίοδο της τουρκικής κατοχής τα περιμετρικά τείχη φαίνεται ότι δεν ξαναχτίστηκαν, αλλά η Καζάρμα αναστηλώθηκε και σήμερα διακρίνονται οι τουρκικές προσθήκες, όπως οι κουμπέδες πάνω στις επάλξεις, δηλαδή τα φυλάκια του φρουρίου. Η Καζάρμα σήμερα έχει αναστηλωθεί και είναι ανοικτή στο κοινό προσφέροντας πανοραμική θέα στον κόλπο και την πόλη της Σητείας. Κατά την καλοκαιρινή περίοδο στον ειδικά διαμορφωμένο χώρο της πραγματοποιούνται πολιτιστικές εκδηλώσεις (Κορνάρεια), όπως θεατρικές παραστάσεις, συναυλίες, διαλέξεις, εκθέσεις εικαστικών τεχνών κ.λπ.΄