L’església avui dedicada a Sant Baldiri ho era originàriament a Sant Abdó i Sant Senén als quals encara s’hi ret un culte secundari.
Els habitants de Cadaqués hagueren de deixar d’acudir a Sant Baldiri de Taballera en haver aconseguit la independència municipal la vila del Port de la Selva (any 1787), de la qual passaren a dependre els masos de la muntanya de Sant Baldiri amb la seva església.
Aleshores instauraren aquesta devoció a la capella de Portlligat dels sants Abdó i Senén.
L’ermita havia estat bastida, com l’església parroquial i altres santuaris del terme i del litoral, gràcies a l’esforç comunal dels pescadors amb les anomenades “penes de peix” i àdhuc pescant en dies reservats
Consta que l’any 1699 es dóna part de la perca per cada cala per a la construcció de la capella de Portlligat que havia de gaurdar les relíquies de Sant Abdó i Sant Senén.
Segons la tradició aquestes relíquies havien arribat a Cadaqués a causa del naufragi d’un vaixell. En un document sense data que fou publicat a la “Marca Hispánica” i copiat, segons l’autor, d’un vell pergamí del monestir de Santa Maria d’Arles, publicà el text d’una acta de translació de les relíquies dels dos sants des de Roma al monestir de Santa Maria d’Arles es produí un miracle i pogué arribar al port de Cadaqués, a prop hi fou fundada la capella en honar dels sants Abdó i Senén en memòria del miracle. Precisa el dit autor que segons el “Martyrologio Hispano” el fet s’esdevingué durat el regnat de Carlemany.