Chùa Đại Bi được xây dựng trên mảnh đất có bề dày lịch sử, với địa danh gốc là Ninh Giang, một trong những cái nôi văn hóa ven sông Thiên Đức mà đến thế kỷ XVII, các ngôi đình, đền, miếu trong vùng được lập nên để thờ các nhân vật lịch sử: Nguyễn Nộn được thờ ở đình Ninh Giang, Lý Nhũ Thái Lão được phong là "dược sư thần linh" thờ tại Điếm Kiều; Quận công Nguyễn Thọ Tràng thờ ở đền xóm 5; Bạch Sam và vợ là Lý Nương Nương tương truyền đã cùng Thánh Gióng đánh giặc Ân vào đời Hùng Vương thứ 6. Đặc biệt Phù Ninh tên nôm là Làng Nành, quê bà Chiêu nghi Nguyễn Thị Huyền, vợ vua Lê Hiển Tông, mẹ Bắc cung Hoàng hậu Lê Ngọc Hân.
Chùa Đại Bi được dựng lên để thờ Phật. Từ "Đại Bi" đã nêu được triết lý chủ đạo của đạo Phật là đại từ, đại bi, khuyên răn con người hướng tới điều thiện, gạt trừ điều ác. Căn cứ vào các tư liệu hiện vật còn lưu giữ có thể khẳng định chùa được xây dựng từ sớm và là ngôi chùa khá lớn, được trùng tu qua các thời kỳ, lần gần đây nhất là vào năm 1939, còn được ghi trên thượng lương thượng điện: "Hoàng triều Bảo Đại thập tứ niên
Tuế thứ Kỷ Mão ngũ nguyệt, nhị thập lục nhật, thượng lương đại cát"
Dịch là: ngày 26 tháng 5 năm Kỷ Mão niên hiệu Bảo Đại 14 (1939)
Qua bao thăng trầm, biến đổi của thời gian và đặc biệt là lần bị cháy, các di vật của chùa bị tổn thất, tuy vậy, chùa Đại Bi vẫn giữ được những di vật quý: sưu tập phù điêu đá dưới dạng bia hậu; sáu bia đá nhỏ; Bia "Thiên đài" ghi công đức năm Chính Hoà thứ 25 (1691); Chuông Cảnh Thịnh thứ 8 (1800) về lịch sử xây dựng và trùng tu chùa…
Chùa Đại Bi được Bộ Văn hóa - Thông tin (nay là Bộ Văn hóa, Thể thao và Du lịch) ban hành quyết định xếp hạng di tích Kiến trúc nghệ thuật vào ngày 27/9/1997.