Đền tọa lạc trên một quả đồi nhỏ bên tả ngạn sông Hồng. Ngôi đền có lịch sử hàng trăm năm, thờ Ngọc Dung Công chúa. Đầu thế kỷ XX, nhân dân còn rước chân nhang Mẫu Liễu Hạnh từ Phủ Dầy, tỉnh Nam Định lên thờ vọng.

Xã Tuy Lộc trước đây có 6 đình, 2 đền, 1 chùa. Trải qua những biến cố thăng trầm của lịch sử và sự hủy hoại của thời gian, hầu hết các di tích không còn, duy nhất chỉ có Bái Dương vốn là đất xưa đền cũ dấu thiêng nên được nhân dân coi sóc, tôn tạo và hương hỏa lễ bái xuân thu nhị kỳ. Đền Bái Dương có diện tích 90m2, được phân chia thành 2 khu là khu khuôn viên và khu nội tự. Khu nội tự gồm một nhà 2 gian kết cấu theo kiểu chuôi vồ, gian tiền là Đại bái, gian sau là Hậu cung, hai bên là hai ngôi miếu nhỏ thờ Thổ thần và các vị Thổ nhang.

Đền hiện có 3 pho tượng và 2 cỗ ngai được sơn son thếp vàng. Hệ thống tượng được bố trí theo trật tự từ trong ra ngoài, từ cao xuống thấp. Đền tuy khiêm nhường về vật chất nhưng lại là di tích lịch sử - văn hóa lưu giữ nhiều đạo sắc phong nhất trong các di tích được xếp hạng trong vùng Tây Bắc. Với 15 đạo sắc phong chứa đựng nhiều thông tin lịch sử - văn hóa quý giá, đền là nơi lưu giữ bản sắc văn hóa dân tộc, góp phần khơi nguồn cho nhân dân xã Tuy Lộc tình yêu quê hương, đất nước và hăng say lao động sản xuất.

Đền Bái Dương xưa với những lễ hội phong phú như tế Mẫu, tế Thần Cao Sơn Đại Vương, rước kiệu Mẫu. Bên cạnh đó, xuân thu nhị kỳ đều tổ chức lễ hội với các lễ cầu chính như: 15 tháng Giêng  - tết Thượng nguyên, mùng 3 tháng 3 - hội Mẹ, ngày 20 tháng 8 - hội Cha, ngày 25 tháng Chạp - lễ Hóa mã và ngày 15 tháng Giêng hàng năm dân làng tổ chức rước kiệu, hòm sắc từ đình lên đền Bái Dương… Nội dung phần lễ cầu cho quốc thái dân an, mùa vụ bội thu, nhà nhà no đủ; phần hội có các hội hát ví, hát chầu văn, đánh cờ người, chơi tổ tôm…

Với bề dày lịch sử và các di vật quý giá còn lưu giữ được, đền Bái Dương đã được xếp hạng di tích lịch sử - văn hóa cấp tỉnh vào tháng 4 năm 2007. Tới đây, đền còn được tu bổ, mở rộng, khôi phục các lễ hội để phục vụ du khách gần xa tới tham quan và vãn cảnh.

 Tới đền vào những ngày đầu năm, đứng ở nơi linh thiêng này, mọi người như được hòa vào với đất trời, lòng người thanh thản hơn. Thắp một nén hương thơm cầu bình an, hạnh phúc cho gia đình, người thân để có những khoảnh khắc tĩnh tâm, thư thái...

Hồng Duyên