Theo truyền thuyết, mùa hạ tháng 5 niên hiệu Hội Tường Đại Khánh thứ IX (1118) vua Lý Nhân Tông cho xây dựng chùa và tháp Sùng Thiện Diên Linh, đến năm Thiên Phù Duệ Vũ thứ 2 (1121) thì hoàn thành. Nhân đó vua đặt tên cho núi là Long Đọi Sơn. Đầu thế kỷ 15 ngôi chùa tháp đã bị quân Minh phá hủy hoàn toàn. Trải qua nhiều lần trùng tu, sửa chữa ngôi chùa đã được mở rộng hơn xưa. Vào năm 1860 - đời Tự Đức năm thứ 13, hòa thượng Thích Chiếu Thường đã phát tâm sửa tiền đường, thiêu hương, thượng điện, nhà tổ, gác chuông, nghi môn, xây dựng hoàn chỉnh 125 gian, từ đây chùa trở thành trường Bắc Kỳ Phật giáo. Tuy nhiên, đến thời Nguyễn ngôi chùa lại bị phá hủy hoàn toàn và chùa Long Đọi ngày nay được phục dựng lại vào năm 1957.

Trong đợt khảo cổ gần đây, người ta đã khai quật được một nền móng tháp ngay phía sau thượng điện hiện tại của chùa. Đây có thể xem là bằng chứng xác thực về cây tháp cao ngàn trượng Sùng Thiện Diên Linh đẹp lộng lẫy như chép trong văn bia: “Tháp xây mười ba tầng chọc trời, mở bốn mươi cửa hóng gió. Vách chạm rồng ổ, xà treo chuông đồng, tầng trên đặt hộp vàng xá lỵ đỉnh nóc xây tiên khách bưng mâm… tầng dưới chia tám tướng khôi ngô, đứng hộ vệ có thần nhân cầm kiếm. Chính giữa đặt tượng Như Lai, sân thềm có bậc lang vũ 2 bên. Rồi bên tả chùa dựng cung tứ giác… bên hữu chùa dựng nhà khám nhọn vuông, trong đặt tân đầu hòa thượng”

Chùa Long Đọi là một trong số ít những ngôi chùa hiện nay còn lưu giữ được nhiều hiện vật mỹ thuật thời Lý có giá trị. Bia Sùng Thiện Diên Linh cao 2,5 m, rộng 1,65 m, dày 0,3 m với bệ là một khối đá chạm bốn con rồng lớn uốn khúc. Đây cũng là một số ít những bia thời Lý còn lại đến ngày nay. Trán bia là hai con rồng Lý rất đặc trưng chầu vào giữa tên bia “Đại Việt quốc dương gia đệ tứ Sùng Thiện Diên Linh tháp bi”. Các hình rồng này đã được trang trí lặp lại trên diềm bia với một kích thước nhỏ hơn, nhưng cũng rất tinh xảo. Ở hai cạnh bia hai bên người ta lại bắt gặp các trang trí hình rồng này được tạo hình nội tiếp trong những hình thoi, tạo nên sự thay đổi linh hoạt cho cách trang trí bia.

Tượng Kim Cương chùa Đọi là những tác phẩm rất nổi tiếng về nghệ thuật điêu khắc đá. Ngày nay chùa Đọi chỉ còn pho tượng, trong đó một số bị mất đầu hoặc sứt gãy. Thời Lý những pho tượng này được đặt ở bốn cạnh của ngôi tháp báu với ý nghĩa bảo vệ cho tám phương Phật Pháp. Tuy nhiên đến khi tháp đổ, thì chúng cũng không còn nguyên trạng. Mặc dầu vậy những tác phẩm này vẫn còn lưu lại những giá trị điêu khắc không thể phủ nhận.

Được tạc bằng sa thạch nguyên khối, với dáng võ quan khỏe mạnh, các pho Kim Cương ở đây đã cho thấy một tinh thần Lý vô cùng rạng rỡ. Các pho tượng Kim Cương đầu đội mũ có chỏm tròn trên đỉnh, bó sát đầu, ôm lấy hai bên mang tai cho đến tận cằm. Giữa trán và chóp mũ nổi lên những đường gờ tạo thành hình vòng nối xuống những bông hoa cúc cách điệu hai bên mang tai. Thân tượng vận giáp trụ, bó sát người xuống tận dưới đầu gối, ngực áo có hai xoáy lớn, vai có hình mặt hổ phù, phía trước bụng có dải như hình chiếc khánh. Thân áo điểm những bông hoa cúc chạm nổi nhiều cánh. Chân đi hài cao cổ có mũi hơi cong.