בקצה הצפוני של הנמל ניצבת לה קבוצת סלעים עליהם נכתבה אחת האגדות המפורסמות והיפות שפרסמו את שמה של יפו בעולם, האגדה על סלע אנדרומדה. אנדרומדה הייתה בתו היפה של המלך כפיאוס, שעוררה את זעמו של אל הים פוסידון, לאחר שאמה התגאתה כי היא ובתה יפות יותר מבנות הים. האל הכועס שלח את מפלצת הים והמבול כדי להרוס את ממלכתו של המלך.
בלחץ תושבי העיר המבוהלים החליט המלך להקריב את בתו בתקווה שהדבר ישכך את זעמו של אל הים. אנדרומדה נקשרה אל הסלעים שעומדים בדרך הבטוחה אל מותה. אבל המלך ואשתו התחרטו והבטיחו כי מי שיצליח להציל את אנדרומדה ישא אותה לאישה. למזלה, בדיוק עבר במקום פרסאוס, בנו של זאוס, מלך האלים שהתאהב בה, חיסל את המפלצת שראשה מבצבץ עד היום בין סלעי הים וזכה, כמו בכל האגדות, בכלה יפיפיה.