W połowie XIX wieku, po drugiej fali epidemii cholery, na Warmii pozostało kilkaset sierot.
w latach 1857-59, a fundusze na ten cel uzyskano od darczyńców oraz samego biskupa Geritza.
W celu prowadzenia sierocińca powołano Fundację św. Józefa, opiekę nad dziećmi miały sprawować szarytki − Siostry Miłosierdzia św. Wincentego a Paulo. W 1859 roku przyjęto pierwszych wychowanków, w 1890 roku było ich już 142, dziewczynek i chłopców.
Sierociniec był placówką opiekuńczo-szkolno-zdrowotną. Dzieci otrzymywały jedzenie, ubranie, a także możliwość nauki elementarnej, jak czytanie, pisanie i roboty ręczne, pomagały także w ogrodzie i gospodarstwie. Zatrudniono kapelana i nauczycieli. Szpital dla dzieci prowadzono w latach 1862 - 1877. Wychowaniem i edukacją do 1875 roku zajmowały się siostry szarytki, po kasacji klasztoru, w 1886 roku biskup Andrzej Thiel powierzył prowadzenie sierocińca siostrom katarzynkom z klasztoru w Lidzbarku.
Prace restauratorskie zamku prowadzone w latach 1927-1936, zakładały powstanie w zamku
Muzeum Regionalnego. Sierociniec potrzebował nowego miejsca. W 1932 roku zakład przeniesiono do nowo wybudowanego gmachu przy obecnej ul. Leśnej 11, gdzie funkcjonował aż do końca stycznia 1945 r., kiedy siostrom katarzynkom udało się ewakuować z grupą około 150 dzieci na północ Niemiec. W 1946 roku w dawnym budynku Sierocińca został uruchomiony Dom Dziecka, przemianowywany, dziś funkcjonuje pod nazwą Młodzieżowy Ośrodek Wychowawczy.