Vanaf 1450 was het weeshuis gevestigd in een pand aan de Breestraat (nu nummer 18). Dit pand was een schenking van ene Gijsbert van Zwieten en werd in eerste instantie als kantoor en pakhuis gebruikt. Al snel woonden er een aantal jonge wezen. In 1484, 1492, 1507 en tenslotte in 1545 nam het aantal weeskinderen toe en werden belendende panden aan het weeshuis toegevoegd. In 1583 woonden er 49 kinderen in de huizen aan de Breestraat. Daarmee was het maximum bereikt en daarom verhuisde het weeshuis naar de Hooglandse Kerkgracht. Dit gebeurde vanwege ruimtegebrek én zeker ook vanwege nieuwe inzichten van het stadsbestuur over armoede in de stad, opgetekend in ‘Het Armenrapport’ uit 1577.