Una leggenda attorno alla Torre della Scimmia racconta appunto come un giorno una simpatica scimmietta addomesticata, che viveva con una famiglia nei pressi, si impadronisse di un neonato portandolo sul tetto della torre col rischio di farlo precipitare.
Sotto la torre si radunò una folla insieme ai genitori disperati.
Il padre del bambino, allora, implorò la Madonna facendo un voto di dedicarle un altarino e quando chiamò la scimmia, questa discese depositando delicatamente il bambino dove l'aveva preso.
Questo miracolo è ricordato da una statua della Vergine con una lanterna in cima al palazzo.