Chùa có tên chữ là Sùng Nham tự, thuộc xã Nham Sơn, huyện Yên Dũng. Ngôi chùa không chỉ là một địa chỉ văn hóa tâm linh, sinh hoạt tín ngưỡng của người dân trong vùng, mà cùng với chùa Vĩnh Nghiêm, chùa Kem là công trình thứ hai được xếp hạng Di tích Quốc gia đặc biệt ở huyện Yên Dũng.

Theo tài liệu nghiên cứu của Tiến sĩ Hán Nôm Nguyễn Văn Phong, người nghiên cứu thư tịch Hán Nôm về chùa Kem thì “Chùa kem được khởi dựng vào năm Đinh Hợi (ước định năm 1527). Vị sư Tổ hưng công xây dựng chùa là bà Hoàng Thị Tuế vốn theo dòng Thiền phái Trúc Lâm Yên Tử do Giác Hoàng Điều Ngự Trần Nhân Tông sáng lập.

Đến thời vua Lê Hy Tông, niên hiệu Chính Hòa thứ 3 (1682), do bà Nguyễn Thị Đế, hiệu Diệu Nghiêm công đức tu bổ tòa Tiền đường, Thiêu hương và Thượng điện. Ngày 14 tháng 11 năm Cảnh Hưng thứ 36 (1775), khởi công xây dựng tháp Thanh Phong ở phía Bắc núi Đẩu Sơn; dựng một tòa nhà cho sư Từ Hải soạn Kinh, một dãy ký túc xá đủ chỗ cho hàng trăm tăng, ni, Phật tử hằng năm về an cư kiết hạ, tụng kinh niệm Phật.

Năm Thành Thái thứ 18 (1906), sư trụ trì hiệu Đàm Tích cùng các Phật tử hưng công trùng tu tòa Tiền đường và Thượng viện”.

Như vậy, ngôi chùa này như một đóa sen thơm nở giữa khe núi Biền Sơn. Dãy núi Biền Sơn được xem là một dải núi sót của núi Huyền Đinh - Yên Tử trong quá trình tạo hóa từ thuở hồng hoang. Và Biền Sơn lại bị chia đôi bởi khe núi vắt ngang thành hai đoạn, sau này một đoạn gọi là Nham Biền. Lại lý giải về Biền Sơn có hình ảnh rất đẹp, ý của người xưa muốn gọi tên núi tượng trưng hai con ngựa quý đứng mãi bên nhau chờ đợi. Xưa kia vùng đất này cây cối rậm rạp, khe núi là một ải hiểm trở, độc đạo.

Sau này, con người ở trấn Kinh Bắc nói chung bắt đầu khai hoang lập nghiệp, dựng nhà cửa gần nơi có “dấu chân” của Phật. Chùa Kem dần dần nằm trong không gian ấm cúng của làng xã Nham Sơn. Với thế đất được chọn đặt chùa của người xưa, theo thuyết phong thủy được cho rằng là thế đất tốt, tựa lưng vào dãy Nham Biền, hướng chùa nhìn ra dòng sông Cầu.

Trải qua bao thăng trầm cùng lịch sử của đất Yên Dũng, không gian chùa Kem đến nay đã có phần được mở rộng hơn nhưng vẫn giữ nguyên kiến trúc cổ kính. Sự thanh tịnh, giản dị cùng với khung cảnh bốn mùa ẩn hiện sau màu xanh của cây và thế núi trùng điệp, chùa Kem được ngợi ca là “ẩn hiện cảnh hư không”.

Chùa Kem được hình thành từ thế kỷ 15. Nơi đây, từ bao đời nay lưu giữ những hiện vật mang trên mình giá trị văn hóa lớn như hệ thống tượng Phật  quy chuẩn, mõ cổ, bệ thờ, bát hương, lọ hoa, khay thờ bằng sành, sứ, gốm cổ,  cối đá giã gạo, cối đá để mài kiếm của nghĩa quân xưa, và vườn tháp, bia mộ, thư tịch…

Chùa có 7 ngôi tháp cổ, một ngôi tháp Thanh Phong đặt xá lị của thầy Từ Hải được xây ở núi Đẩu Sơn, còn 6 ngôi tháp ở trong vườn phía trước chùa. Khi xem danh sách các vị sư viên tịch tại chùa, đều là sư nữ từng nối tiếp nhau trụ trì như: ni sư hiệu Đàm Tuyết, ni sư hiệu Đàm Sâm, ni sư hiệu Đàm Cần, ni sư hiệu Đàm Vân. Năm 2012, khi ni sư Thích Đàm Vân qua đời giao lại cho ni sư Thích Đàm Nguyệt trụ trì chùa cho tới giờ. Phải chăng nơi này là nơi tu hành của các tăng ni giới nữ thuộc dòng thiền phái Trúc Lâm? 

Phía sau chùa, một không gian mở rộng với bóng cây to lâu đời tỏa xum xuê, tán đan xen vào nhau cảm giác như rừng già. Chúng tôi ngồi nghỉ bên bậc đá. Dưới gốc nhãn già, những chiếc cối đá nằm sát bên nhau. Chính là những chiếc cối giã gạo cho nghĩa quân Đề Thám. Chiếc cối đá còn đọng nước mưa trong vắt như một mảnh gương soi.

Nhìn vào gương nước ấy, theo lời kể của người dẫn đường, tôi như phiêu về một thời quá vãng của tiếng gươm khua, tiếng kiếm mài sắc lịm những đêm trăng thanh dưới chân núi Nham Biền; rồi tiếng ngựa hí vang trời, rồi tiếng hô luyện quân của anh hùng áo vải…

Hơn một trăm năm rồi chỉ có con người là lá trút sang mùa khác. Những kỷ vật, dấu tích lịch sử ấy càng dày thêm lòng tự hào cho các thế hệ nối tiếp. Trước thời kỳ Hoàng Hoa Thám đưa quân về chùa lập căn cứ tập luyện thì đã có Nguyễn Cao, làm tán lý quan vụ tỉnh Bắc Ninh, người làng Cách Bi, huyện Quế Dương (nay là huyện Quế Võ, tỉnh Bắc Ninh) đã xây dựng căn cứ chống thực dân Pháp.

Chùa Kem có ba ngày hội lệ là ngày 11/6, ngày 21/8 và ngày 21/10 âm lịch hằng năm. Ba ngày hội lệ của chùa là ngày giỗ của ba vị sư trụ trì ở đây qua các thời kỳ. Nhà chùa chọn ngày 21/8 âm lịch làm ngày hội chùa to nhất. Đó là ngày giỗ tổ cụ Thích Đàm Cần. Vào ngày này, nhân dân trong xã và chính quyền xã cùng nhà chùa tổ chức nghi lễ long trọng, có nhiều khách thập phương về dự.