Το κτίριο έχει να επιδείξει τουλάχιστον τρεις κύριες οικοδομικές-ιστορικές φάσεις. Η πρώτη, η βυζαντινή (11ος -12ος αιώνας), περιλαμβάνει το κάτω, πετρόκτιστο τμήμα, χωρίς τους δύο ορόφους. Σε επόμενη φάση, η οποία τοποθετείται στα χρόνια της Τουρκοκρατίας και πιθανότατα μετά τον καταστροφικό σεισμό του 1585, κτίστηκαν ακόμα τρεις όροφοι, από τους οποίους σώζονται σήμερα οι δύο. Η τρίτη φάση περιλαμβάνει την εσωτερική ξυλεπένδυση του κτιρίου και τη στέγη που διασώζεται μέχρι σήμερα και συμπεριλήφθηκε στα έργα ανακατασκευής τα οποία ολοκληρώθηκαν το 1862. Ο εξωτερικός λοξός τοίχος αντιστήριξης (σκάρπα) προστέθηκε μετά την ανακατασκευή.
Στην ανατολική πλευρά του πύργου είναι προσκολλημένος ο μπαρμπακάς, δηλαδή ο οχυρός περίβολος, ο οποίος φαίνεται να είναι προσθήκη της πρώιμης Τουρκοκρατίας με μεταγενέστερες επισκευές. Οι σύγχρονοι χώροι ενδιαίτησης και αποθήκευσης στο εσωτερικό του μπαρμπακά οριοθετήθηκαν στα μέσα του 19ου αιώνα. Βορειοδυτικά του πύργου βρίσκεται το κτίριο του αρσανά, που κτίστηκε το 1865 μαζί με μια αποβάθρα η οποία δεν υπάρχει σήμερα. Αποτελείται από τον ημιυπόγειο χώρο φύλαξης της βάρκας του μετοχίου, τους αποθηκευτικούς χώρους στο ημιανώγειο, και το ανώγειο με το χαγιάτι. Υπήρχαν κι άλλα κτίρια: αποθήκες, αχυρώνες, ελαιουργείο, πηγάδια. Σήμερα σώζεται μόνο το χαλκαδιό και το κολληγάδικο.
Σήμερα στους ορόφους του πύργου-μουσείου, εκτίθενται αρχαία ευρήματα από τον Άθωνα, την Ιερισσό, τη Βαρβάρα, τη Μεγάλη Παναγία, το Παλαιοχώρι και τα Σιδηροκαύσια. Σημαντικά εκθέματα του μουσείου αποτελούν τα δύο χάλκινα κράνη κορινθιακού τύπου του 6ου π.Χ. αιώνα, που βρέθηκαν στον Άθω, καθώς και πολλά κοσμήματα που βρέθηκαν στην αρχαία Άκανθο, το Παλαιόκαστρο και τη Μεγάλη Παναγία. Επίσης εκτίθενται σημαντικά ευρήματα της Μονής Ζυγού. Ανάμεσα τους το μολυβδόβουλο του «ταπεινού Αθανασίου» του Αθωνίτη, που χρονολογείται στα τέλη του 10ου αιώνα μ.Χ., ένα γυάλινο καντήλι και ένα περίτεχνο εφυαλωμένο πινάκιο. Σημαντικό έκθεμα είναι οι επιγραφές από τη Βαρβάρα και το κάστρο Νέπωσι, έργα της Χριστιανικής περιόδου.
