Σε μια δυσπρόσιτη σπηλιά κοντά στην περιοχή Ζεματά, βρίσκεται η Παναγία Κακαβιώτισσα. Σύμφωνα με προφορική παράδοση, στη θέση που είναι το εκκλησάκι ζούσαν έξι μοναχοί (οι οποίοι ανήκαν στη μονή Μεγίστης Λαύρας) που είχαν έρθει από το γειτονικό νησί του Αγίου Ευστρατίου. Κυνηγημένοι από Τούρκους ή πειρατές, για να προστατευτούν εγκαταστάθηκαν στο εξωκκλήσι. Το εξωκλήσι λειτουργείται κάθε Λαμπροτρίτη, οπότε και μεταφέρεται σ’ αυτό η εικόνα της Παναγιάς της Κακαβιώτισσας.