Με κάθε λαμπρότητα η πόλη του Ναυπλίου τίμησε τον Άγιο Ανδρέα τον πρωτόκλητο. Πιο συγκεκριμένα το εκκλησάκι που βρίσκεται στο κάστρο Παλαμήδι είναι αφιερωμένο στον Άγιο Ανδρέα και κάθε χρόνο πλήθος κόσμου πηγαίνει για να τιμήσει τον Άγιο. Φέτος τον πανηγυρικό εσπερινό στις 29 Νοεμβρίου, τέλεσε ο πατέρας Βασίλειος Γκολέμης.

Ο Ναός του Αγίου Ανδρέα βρίσκεται μέσα στον ομώνυμο προμαχώνα. Στεγάζεται με ημικυλινδρικό θόλο και εισχωρεί κατά το ανατολικό μισό μέρος μέσα σε μία από τις καμάρες που στηρίζουν τον περίπατο των τειχών. Το ελεύθερο μέρος του είναι δίκλιτο. Το εκκλησάκι του Αγίου Ανδρέου κτίστηκε το 1712 από τον Αυγουστίνο Σαγρέδο.

Κάθε χρόνο στις 30 Νοεμβρίου, εορτή του τιμώμενου αγίου συμπίπτει με την επέτειο της απελευθερώσεως του Παλαμηδίου και της πόλης του Ναυπλίου από τους Τούρκους. Επειδή όμως τυχαίνει η εορτή να πέφτει καθημερινή η δοξολογία τελείται την τελευταία Κυριακή του μήνα Νοεμβρίου.

Το Παλαμήδι χρησιμοποιήθηκε μέχρι το 1916 ως φυλακές, και συγκεκριμένα ο προμαχώνας Μιλτιάδης για τους ισοβίτες ή θανατοποινίτες κατάδικους και οι λεγόμενες φυλακές του «Αγιαντρέα» ή «Κατάστημα» γιʼ αυτούς που είχαν ελαφρότερες ποινές. Ένα μικρό πλάτωμα, το γνωστό ως «Αλωνάκι» χρησίμευε ως τόπος εκτελέσεων, ενώ οι δήμιοι, πρώην θανατοποινίτες, κατοικούσαν στο επιθαλάσσιο φρούριο, το Μπούρτζι.