Klasztor benedyktyński wzniesiono w partii szczytowej Łysej Góry, znajdującej się we wschodniej części pasma Łysogór, w pobliżu miejscowości Nowa Słupia. Sanktuarium jest doskonale widoczne z odległości wielu kilometrów, a otoczone jest wyżynnym jodłowym borem oraz gołobożami. Kult przechowywania w jego murach relikwii Drzew Krzyża Świętego dał początek nazwie Góry Świętokrzyskie. Powstanie klasztoru w miejscu wyjątkowym zarówno przyrodniczo jak i geograficznie należy zapewne wiązać z chęcią wyrugowania praktyk pogańskich i krzewienia wiary chrześcijańskiej. Według legend pierwszych benedyktynów osadził w tym miejscu Bolesław Chrobry, jednak dokumenty źródłowe podają, że klasztor ufundował Bolesław Krzywousty wraz z komesem Wojsławem z rodu Pawałów w pierwszej połowie XII wieku. Powstała wtedy mała świątynia w stylu romańskim i pierwsze zabudowania klasztorne. W latach 1259-1260 wojska rusko-mongolskie wymordowały wszystkich mnichów i zniszczyły archiwum zawierające całą wiedzę pisaną o początkach klasztoru. Następnie benedyktynów sprowadził do klasztoru Bolesław Wstydliwy. Natomiast Władysław Jagiełło wielokrotnie pielgrzymował do sanktuarium i łożył na jego rozbudowę.
Klasztor kilkakrotnie został zniszczony przez pożary, po czym zostawał odbudowywany. Nie uniknął również wielkokrotnych plądrowań przez wojska szwedzkie, węgierskie oraz saskie.
Odrodzenie klasztoru nastąpiło w 1936 roku kiedy przybyli tam Misjonarze Oblaci Maryi Niepokalanej.
W trakcie II Wojny Światowej Niemcy urządzili tu obóz zagłady dla jeńców radzieckich, około 6000 jeńców spoczywa na cmentarzu obok klasztoru. Po wojnie zlikwidowano XIX-wieczną zabudowę, część budynku przeszła na własność Państwa, a część pozostała w rękach Oblatów. Rozpoczęto odbudowę i porządkowanie klasztoru. W 2014 roku odbudowano wieżę kościelną.