Esta Hermandad es consecuencia de la fusión que se produjo en 1667, entre la Hermandad de la Soledad y la del Santo Entierro, permaneciendo en el Monasterio de la Victoria desde su fundación hasta el año 1868, ya que al proclamarse ese año en España la Primera República, las imágenes fueron sacadas a toda prisa, trasladándose de forma provisional a la casa del primer consiliario de la Hermandad, hasta el año 1875 en que quedaron definitivamente ubicados en su actual capilla de la Iglesia Mayor Prioral.

Ha sido la Hermandad más sufrida en saqueos y destrozos como consecuencia de diversos episodios de la historia. En 1702 sufrió el expolio de todo su patrimonio por parte de las tropas angloholandesas en su intervención en la Guerra de Sucesión española. También en 1808 con motivo de la invasión francesa y consecuente Guerra de la independencia. Más tarde, en 1834 por la desamortización de Mendizábal y en 1868 por los revolucionarios republicanos. Todos estos fueron duros golpes sufridos por la cofradía, cuyos actos fueron hasta entonces muy suntuosos, debido a la gran devoción que la ciudad tenía por la imagen de Nuestra Señora de la Soledad.

En 1848 obtuvo el título de Real, mediante concesión de la Duquesa de Montpesier, Dña. Luisa Fernanda de Borbón, hermana de la reina Isabel II.

Esta hermandad siempre procesionó en Viernes Santo, con excepción hecha del período 1956-1980, que lo hizo en Sábado Santo.