L'origen de la denominació de l'associació es troba a la muntanya d'Escornalbou
, mirador del Camp de Tarragona, situada en un replà del turó de Santa Bàrbara o de la Mola (649 m), al peu de les primeres estribacions de les serres del Priorat, a l'extrem sud de la serra de l'Argentera, i veïna de la Mola de Colldejou.
El Castell —anomenat també Convent de Sant Miquel d'Escornalbou—, és un antic monestir agustinià, restaurat a principis del segle XX, entre el 1912 i el 1926, per Eduard Toda i Güell (Reus, 1855 - Poblet, 1941), autor d'articles i llibres sobre temes d'història, política, viatges i bibliografia, entre altres temes, a més de ser també diplomàtic amb exercici a la Xina, vicecònsol a Macao, Hong Kong i Xangai. Posteriorment va exercir a Glasgow, Hèlsinki, París, Brussel.les i Londres, i, abandonada la carrera, encara es va dedicar al comerç i la representació, com la de les firmes navieres Soto i Aznar.
El 1911, Toda va adquirir el castell d'Escornalbou i l'any següent en va iniciar la reconstrucció quan ja no era sinó un munt de runes. Més que una restauració historicista, Toda va optar per reconstruir una residència de caire senyorial, sovint criticada. Hi va crear una important biblioteca.
Per la seva relació amb les poblacions veïnes d'Escornalbou, integrants de l'antiga baronia --Riudecanyes, Vilanova d'Escornalbou, L'Argentera i Duesaigües--, va ser nomenat fill adoptiu de la població de Duesaigües
el 1925, a la qual havia cedit anteriorment les aigües de la font de la Vilamanya, que encara avui arriben a la població. Toda va cedir el castell al bisbat de Tarragona el 1926 per a seminari d'estiu, reservant-se l'udesfruit. Eduard Toda va ser també el restaurador del monestir de Poblet, on va morir, gairebé arruïnat, el 1941. Dos anys abans havia demanat al bisbat 100.000 pessetes per les obres fetes després de la cessió d'Escornalbou, però el bisbat, el mateix any de la mort de Toda, va vendre el castell al comerciant reusenc Josep M. Llopis. Eduard Toda va poder recuperar l'import del mobiliari i la biblioteca, formada per uns 60.000 volums. Posteriorment, a la dècada dels setanta, el castell va passar a mans dels propietaris del Banc Urquijo, fins que, arran de la pressió popular, va ser adquirit per un consorci de la Generalitat de Catalunya i la Diputació de Tarragona. Des del 2004 és gestionat pel Museu d'Història de Catalunya.
El terme de Vilamanya, dins el qual es troba el castell d'Escornalbou, havia estat adquirit l'any 1843 per John Bridgman, vicecònsol anglès a Tarragona. En aquellà època el terme era un erm assotat per l'abandó dels frares franciscans, a partir de la notícia de l'incendi de convents del 25 juliol del 1835; per les estades esporàdiques que hi van fer escamots de liberals i carlins; per la voladura d'una part de l'església, ja clivellada per un terratrèmol de principis del segle XIX; i per l'espoliació dels habitants dels pobles veïns i els delegats del govern. John Bridgman el va adquirir al govern per 29.930 rals, per explotar-ne les mines. El 1844, es va explotar la mina de barita, a càrrec de la companyia La Restauradora, projecte que es va abandonar pel seu escàs rendiment i es va clausurar el 1920. Als voltants del 1845, l'industrial reusenc Macià Vila, àlies Sisos, íntim amic del general Prim, va muntar a Escornalbou una fàbrica de batre moneda falsa de peces de sis, cosa que ha fomentat posteriorment algunes llegendes.
En les actuals construccions d'Escornalbou es conserven, incrustades, restes de les fortificacions romanes, com el fragment d'una muralla d'un quilòmetre de llarg, aixi com una escultura que representa un cap de bou.
L'Escornalbou sarraí va pertànyer al valiat de Siurana, conquerit per Alfons I, amb les tropes del senyor de Siurana, comandades per Albert de Castellvell, el 8 de maig del 1162, dia de Sant Miquel, a qui després, per la seva "valuosa ajuda muntat en un cavall blanc", es dedica el convent.
El topònim d'Escornalbou, doncs, integrat en els primers temps dins el terme de Siurana, es troba esmentat amb el nom de Castro de Cornu Bovis a la carta que el regia, atorgada el 1153.
Eduard Toda i Güell és qui defineix així l'indret muntanyós en la seva Història de Escornalbou (1926):