Στη δυτική πλευρά του λιμανιού δεσπόζει το αρχοντικό του Παύλου Κουντουριώτη στην πλαγιά ενός λόφου με πεύκα. Αποτελείται από το κυρίως κτίσμα, βοηθητικά κτίσματα, κήπο και πολλές αυλές.
Το κτίριο χωρίζεται σε τρία επίπεδα. Στο πρώτο υπάρχουν πέντε χώροι αποθηκευτικοί. Στο δεύτερο επίπεδο βρίσκονται δυο χώροι υποδοχής, μια τραπεζαρία, το υπνοδωμάτιο και γραφείο του ναυάρχου και τρία ακόμη υπνοδωμάτια. Έπειτα μια επιβλητική σκάλα, φτιαγμένη από μάρμαρο, οδηγεί στο τρίτο επίπεδο που περιλαμβάνει χώρους υποδοχής και υπνοδωμάτια. Οι οροφές του κτιρίου είναι ξύλινες και τα δάπεδα καλύπτονται με ασπρόμαυρες μαρμάρινες πλάκες.
Πρώτος ιδιοκτήτης ήταν ο Γεώργιος Κουντουριώτης, που ανήκε σε μια από τις πιο πλούσιες οικογένειες του νησιού. Ο Παύλος, ο εγγονός του που το κληρονόμησε, στις αρχές του 20ου αιώνα ξεκίνησε επισκευές του κτιρίου, μένοντας πιστός όμως στα αρχιτεκτονικά του στοιχεία. Το 1991 αγοράστηκε από το Υπουργείο Πολιτισμού για να μετατραπεί σε μουσείο της οικογένειας Κουντουριώτη και της μεταβυζαντινής τέχνης και ιστορίας της Ύδρας.
