El nucli abandonat de Sant Baldiri de Taballera es troba dins al massís del Cap de Creus a uns cinc quilòmetres de Port de la Selva. El conjunt, avui en ruïnes, està format per l’església, la casa del capellà i d´altres dependències annexes tancades dins un recinte fortificat amb una torre circular de defensa.

Durant molt de temps va ser el  centre espiritual  i econòmic dels nombrosos masos dispersos per les muntanyes del Cap de Creus. Aquest santuari va pertànyer inicialment al terme municipal de la Selva de Mar, juntament amb tota la muntanya de Sant Baldiri. A l’any 1787 va quedar inclòs dins del nou municipi de Port de la Selva, que va aconseguir el títol de vila en la cèdula Reial que va signar Carles III.

Les primeres referències documentals de Sant Baldiri van íntimament lligades al monestir de Sant Pere de Rodes i a la casa comtal d’Empúries. Al S. VIII ja hi havia una petita cel·la monàstica. A l’any 947 en un precepte de Lluis  d´Ultramar,  se l’anomena com a possessió a favor de l’abat Hildesind de Sant Pere de Rodes. Posteriorment apareix també en un document del Comte d’Empúries Gausfred, que ampliava les possessions del monestir. En d´altres documents d´aquell temps també es troba,  sempre relacionat amb Sant Pere.  La torre de defensa circular  es construeix a l´any 1558 per vigilar l´accés marítim de les ràtzies pirates  que assotaven la costa. En aquells temps el Cap de Creus  ve ser  fortament castigat per la pirateria amb nombrosos segrestos i saquejos. Més endavant va esdevenir santuari i ermita i es va fer una reconstrucció a mitjans del segle XIX. Finalment va quedar abandonada. El darrer aplec es va celebrar a l´any 1917. A partir d´aquell moment comença la seva progressiva degradació, decadència i enrunament. No va ser fins ben entrat el s. XX que es van realitzar uns treballs per recuperar i restaurar les restes.

Per arribar-hi, s’hi accedeix des del Port de la Selva a través del camí dels masos, avui GR11. S´ha de sortir del poble en direcció Cala Tamariua i seguir les indicacions. El darrer tram de l´itinerari es fa per un petit corriol que accedeix a la Vall de Sant Baldiri. Aquesta és un paratge relativament excepcional, arrecerat, proper al mar, amb terres fèrtils i amb aigua abundant. La seva vegetació és exuberant especialment si la comparem amb la de la resta del massís. Hi predomina l’alzina i el suro acompanyats de les pinedes que ocupen les antigues vinyes abandonades. En les obagues més humides també hi podem observar algun roure.  Al llarg de tot el recorregut ens trobem rodejats de quilòmetres de murs de paret seca resultat de la incansable activitat dels habitants del territori per fer fèrtil un terreny abrupte i erm. Algun dia s´hauria de reivindicar aquest veritable signe d’identitat del Cap de Creus.

Si volem arribar fins a Cala Taballera haurem de continuar aproximadament uns dos quilòmetres seguit el camí que passa pel Mas Paltre.  Taballera és la veritable reina del Gou.

Ara fa uns trenta anys es va engegar una campanya per a recuperar l´indret anomenada “ Sant Baldiri, la perla perduda del Cap de Creus”. De fet, la recuperació del conjunt no es va poder fer fins que l´ajuntament del Port de la Selva no va rebre la cessió del conjunt arquitectònic  i d’una part de la Vall de Sant Baldiri que encara estava en mans dels ducs de Medinacelli, els hereus dels comptes d’Empúries. Això és però, una altra històriademar.