Met de komst van de Fransen die leidde tot de Stichting van de Bataafse Republiek in 1798  kwam geleidelijk aan de godsdienstvrijheid weer terug. Het katholicisme werd langzaamaan weer toegestaan in de stad  ‘s-Hertogenbosch. In mei 1810 werd door keizer Napoleon Bonaparte de Sint Janskerk weer teruggeven aan de katholieke bevolking van de stad.

Volgens de overlevering vroeg een deel van de katholieke vooraanstaande burgerij een onderhoud met de keizer aan met het verzoek om de Sint Jan in katholieke handen terug te geven. Napoleon stemde in met de woorden : “vous aurez la grande église et un évêque aussi” (vertaald: “u zult de grote kerk terugkrijgen met een bisschop erbij”). Een grote blijdschap om de Sint Jan en afwijzende gevoelens om de bisschop (mgr. M.F. van Camp) die – vanwege het feit dat hij door wereldlijk gezag door Napoleon was aangesteld – waarschijnlijk niet door Rome geaccepteerd zou worden.  Tot aan de vlucht van deze bisschop en de bevestiging van Napoleons besluit bij Koninklijk Besluit op 11 december 1816 door Koning Willem 1, bleef dit deel van Napoleons besluit de Bossche gemoederen bezig houden.

Een zeer welkom bijeffect was, dat met de Sint-Jan ook de Lieve Vrouwe kapel opnieuw in katholieke handen kwam. De “troon” van de Zoete Moeder bleef echter nog altijd onbezet, doordat het wonderbeeld in Brussel bleef. Het Koninklijk Besluit van 11 december 1816 verordonneerde tevens dat de katholieke Bossche bevolking 60.000 gulden in de schatkist van het Rijk moesten storten. Ook dat een derde van de kerkgoederen van Sint-Jan aan de hervormden moest worden afgestaan. Dit besluit volgde op de acties van de protestanten, die, na de val van Napoleon, alle moeite deden, om de Sint-Jan wederom in handen te krijgen. Een pittige bijkomende verplichting voor de katholieken dus.

Vanaf het jaar 1817 trad de Sint-Jan in een rustig, maar arm tijdperk, omdat zij toen nog geen parochie was. De Sint Jan verwerd tot een zogenaamd rectoraat, ressorterend onder de Sint-Pieter met onvoldoende inkomsten. Hierin kwam pas een oplossing in 1840, toen de Sint-Jan wederom tot parochiekerk verheven werd, waardoor de financiële toestand verbeterde. Het beeld van de Zoete Lieve Vrouw verbleef echter, tot teruggave van het beeld, nog 37 jaar lang, tot 1853, te Brussel.

Inspanningen vanaf 1840 leidden er uiteindelijk toe dat in 1853, in het jaar van het herstel van de bisschoppelijke hiërarchie, de Zoete Lieve Vrouw terug kon keren naar haar stad.  De toenmalige bisschop van de stad, tevens aartsbisschop van de stad Utrecht, Monseigneur Zwijssen, wist zijn Belgische collega Monseigneur Sterckx op den duur te overtuigen dat het beeld van de Zoete Lieve Vrouw weer terug diende te keren naar ‘s-Hertogenbosch op basis van de oude gemaakte afspraken van bijna 225 jaar daarvoor. Met name een tweetal schriftelijke verklaringen ondersteunden deze overdracht: de aantekening van bisschop Ophovius in zijn dagboek op 13 maart 1630 dat hij Anna van Hambroeck opdracht had gegeven het beeld naar Brussel te vervoeren en het de landvoogdes Isabella ter hand te stellen onder de uitdrukkelijke voorwaarde dat het beeld aan niemand in eigendom zou worden overgedragen en dat “Hare Hoogheid” zou beloven het eens weer aan de Bosschenaren terug te geven. Ook de brief van bisschop Ophovius van 15 maart 1630 aan Charles de la Faille, secretaris van de Raad van State te Brussel droeg daartoe bij: “het beeld kan aan Isabella worden overgedragen en naar Brussel vervoerd, maar het zal onder de jurisdictie blijven van de bisschop en het kathedraalkapittel van ‘s-Hertogenbosch en eigendom van de stad ‘s-Hertogenbosch aan wie het op een geschikt ogenblik zou moeten worden teruggegeven”.  Daarnaast gold de hierboven aangehaalde notariële acte van 29 oktober 1663 als derde bewijs.