Desde el siglo XII existe constancia documental de que en el pequeño pueblo de pescadores que era Ferrol existía la Cofradía Penitencial de la Virgen de los Dolores. En el siglo XIII y bajo el patrocinio de la Virgen de los Dolores se funda la Hermandad gremial de comerciantes de la villa de Ferrol encargada de organizar y participar en la celebraciones de la Semana Santa y Corpus Christi y que continuará a lo largo de los siglos, hasta que bajo el reinado de Fernando VI a mediados del S. XVIII se auspicia que las cofradías de carácter gremial se transformen en cofradías de penitencia y caridad, dentro de las medidas de modernización del estado y por tanto de abolición de las sociedades gremiales. Se transforma así la figura el autoflagelante en penitente que acompaña a las Imágenes.
En este marco la Hermandad de los Dolores se constituye como Congregación de Servitas (Venerable Congregación de Servitas de Ferrol) el 6 de diciembre de 1750 en el oratorio del Santísimo Cristo de los Navegantes, donde se hallaba expuesta para su veneración la imagen de la Virgen de los Dolores, pequeña capilla situada al pie de la nave principal de la primitiva iglesia de San Julián, situada en Ferrol Vello aproximadamente frente al antiguo cuartel de instrucción a la altura de la calle del Espíritu Santo y cercana a la Plaza Vieja de la villa.
Demolida la antigua parroquia en 1762 a consecuencia de los daños causados por la construcción del foso que circunda el arsenal, se trasladó la imagen y la congregación a la capilla de San Roque que funcionó como parroquia hasta la inauguración del nuevo San Julián en 1772 a donde se trasladó de nuevo la imagen y la congregación hasta que acabada la construcción de la nueva capilla en la Plaza de los Dolores en 1780, se traslada definitivamente la imagen a ella y se instala en el camarín de su retablo mayor (hoy tristemente desaparecido) en 1790. Desde entonces permanece en esta capilla que es sede canónica de esta congregación. Esta congregación tiene a su cargo desde el S:XVIII los pasos de la Verónica y de San Juan Evangelista que acompañaban a la Virgen en las procesiones del santo encuentro que se celebraba entonces en la Plaza Vieja trasladándose posteriormente a la de los Dolores (Amboage) y actualmente a la de Armas (antes del Carmen). La congregación organizaba también las procesiones del Desenclavo y Santo Entierro y la de la Soledad de Nuestra Señora (Caladiños) descrita por Montero Aróstegui como la más patética y solemne de la Semana Santa, únicas procesiones que se celebraban en Ferrol en el S.XVIII.
En 1939 la Cofradía de Dolores va a provocar un cambio definitivo en la Semana Santa ferrolana. En la procesión de la Soledad (Caladiños) de ese mismo año ocho miembros de esta congregación (Venerable Real y muy Ilustre Cofradía) salen acompañando a la Virgen cubiertos con capuz y hábito siendo los primeros capuchones ferrolanos y marcando el inicio de la moderna Semana Santa ferrolana.
Estos primeros capuchones impulsan en 1945 la fundación (17/11/1945) de la Cofradía del Santísimo Cristo de la Misericordia, comenzando su andadura con la celebración de una novena. La primera junta formada por: Demetrio Casares (presidente), Rafael Fernández Conde, José Soto Rojas, Miguel Vaello Canosa, Antonio Beltrán, José Mª Casares Fontenla, Federico Sánchez Plaza, José Ramón Caridad Fernández, Juan Francisco Vich Aragonés, Ramón Vich Aragonés, Pedro Castro Fernández, Juan Castro Fernández, Federico Pérez García y Antonio Benítez Pineda. Impulsan la formación de nuevas cofradías que con el tiempo irán integrando en su seno como tercios y fue además encargada de organizar en los años 50 la procesión del Santo Entierro creando para ello la Cofradía de los Caballeros portadores del Santo Entierro con sede canónica en la misma capilla de los Dolores hasta 1961 que se traslada a la Concatedral de San Julián.
En 1992 se unen la Cofradía de Nuestra Señora de los Dolores y la del Santísimo Cristo de La Misericordia, aprobando nuevos estatutos y pasando a denominarse, desde ese momento, Venerable, Real y Muy Ilustre Cofradía del Santísimo Cristo de La Misericordia y María Santísima de los Dolores, heredando los títulos, historia y prebendas de la antigua Congregación de los Dolores y se van incorporando como tercios las diversa cofradías que tenían su sede en la parroquia de Dolores.
En 2006 el Consejo de la Provincia Española de los frailes Siervos de María reconoce a la Cofradía como grupo laico servita.