Nguyễn Khắc Nhu sinh ra tại làng Song Khê, huyện Yên Dũng, nay là xã Song Khê thuộc thành phố Bắc Giang. Năm 1912, ông đi thi Hương đứng đầu cả xứ Bắc Kỳ nên đương thời gọi là Đầu Xứ Nhu, gọi tắt là Xứ Nhu. 

Nguyễn Khắc Nhu từng tiếp cận với xu hướng vũ trang kiên trì và bất khuất của Hoàng Hoa Thám; là học trò của cử nhân Nguyễn Văn Đảng - một yếu nhân của phong trào Đông Kinh Nghĩa Thục. Ông đã tiếp cận với các yếu nhân trong phong trào Đông Du, Đông Kinh nghĩa thục. Sau nhiều lần thi Hội không đậu, ông về quê dạy học. 

Năm 1907, ông làm trưởng đoàn đưa 17 thanh niên xuất ngoại tham gia phong trào Đông Du nhưng không bắt được liên lạc với phái viên Phan Bội Châu ở Trung Quốc. Trở về nước xin đi làm tổng sư tại làng Thịnh Liệt rồi làng Lạc Gián cho đến 1922 thì xin từ chức vì có mâu thuẫn với viên thanh tra học chính của Pháp. 

Về làng, Xứ Nhu làm thầy lang chữa bệnh cho dân; đồng thời, lao vào hoạt động cách mạng. Ông cũng viết báo về các vấn đề xã hội và tìm cách bắt liên lạc với Phan Bội Châu đang bị giam lỏng tại Huế. 

Theo gợi ý của Phan Bội Châu, ông lập Hội quốc dân dục tài để đào tạo thanh niên nhưng không được thực dân Pháp cho phép. Sau đó, ông đã lập ra Hội Việt Nam dân quốc để chủ trương sử dụng chủ yếu binh lính Việt Nam trong quân đội Pháp. 

Năm 1909, sau khi cả phong trào Đông Du và Đông Kinh nghĩa thục bị tan vỡ, thực dân Pháp truy nã và bắt giam nhiều chí sĩ, trong đó có cả Phan Bội Châu và Phan Chu Trinh. 

Nguyễn Khắc Nhu trốn sang Trung Quốc và tham gia vào cuộc vận động cứu nước. Từ đó, ông chuyển dần xu hướng đấu tranh bất bạo động sang xu hướng bạo động. Năm 1927, ông về nước cùng với các đồng chí thành lập Hội Việt Nam dân quốc, tổ chức nhiều cuộc tập kích một số đồn Pháp ở Bắc Ninh, Đáp Cầu, Phả Lại... với ý định vũ trang khởi nghĩa. 

Năm 1928, ông sáp nhập Hội Việt Nam dân quốc vào Việt Nam Quốc dân đảng và ông được cử tham gia với vai trò là Trưởng ban Lập pháp của đảng. Năm 1929, sau vụ ám sát Bazin - một trùm mộ phu đồn điền Nam Kỳ, các cơ sở của Việt Nam Quốc dân đảng bị thực dân Pháp khủng bố ác liệt. 

Ông và Nguyễn Thái Học trốn thoát rồi rút lui vào hoạt động bí mật và bị Hội đồng Đề hình kết án vắng mặt ông 10 năm cấm cố. Trước tình hình có khả năng tan vỡ, các lãnh đạo Việt Nam Quốc dân đảng quyết định đẩy mạnh hoạt động vũ trang khởi nghĩa với phương châm "Không thành công cũng thành nhân". 

Năm 1930, ông được giao nhiệm vụ trực tiếp lãnh đạo khởi nghĩa ở Yên Bái, Phú Thọ, Sơn Tây. Do không chuẩn bị kỹ lưỡng, các lực lượng ở các nơi không cùng bộc phát một lúc, thực dân Pháp có điều kiện phòng ngừa, nên cuộc khởi nghĩa thất bại. Ông trực tiếp chỉ huy trận đánh tập kích đồn binh Hưng Hóa và phủ lỵ Lâm Thao. 

Cuộc tập kích bất thành, bản thân ông bị trúng đạn nhưng vẫn tìm đường trốn thoát. Trận đánh đồn binh Hưng Hóa và phủ lỵ Lâm Thao bị thất bại. Ông đã trúng đạn và cố gắng tìm đường trốn thoát và giữa đường ông dùng lựu đạn tự tử nhưng không chết rồi bị quân Pháp bắt. 

Trên đường giải về trại giam, ông nhảy xuống sông tự trầm, nhưng lại bị quân Pháp vớt được và đem về giam tại Hưng Hóa. 

Tại đây, ngày 11 tháng 2 năm 1930, ông đập đầu vào tường giam tự tử để bảo toàn khí tiết, hưởng dương 49 tuổi. Nguyễn Khắc Nhu còn là tác giả của một số bài thơ, bài báo vận động cải cách. Tên ông được dùng đặt cho một đường phố ở Hà Nội, thành phố Hồ Chí Minh, Bắc Giang, Đà Nẵng, An Giang, Yên Bái và một số thành phố khác của Việt Nam. 

Là nhà yêu nước, sinh ra trên quê hương Song Khê - vùng đất học nổi tiếng với nhiều nhân tài, đỗ đạt cao trong xã hội phong kiến. Kế thừa truyền thống đó, cùng với tấm lòng yêu nước, lo cho vận mệnh dân tộc, ông đã tham gia nhiều hoạt động đấu tranh chống thực dân Pháp xâm lược. Khi bị rơi vào tay thực dân Pháp, ông đã tìm đến cái chết để giữ tiết tháo, quyết không khuất phục kẻ thù xâm lược.

Một ông đồ Hưng Hóa cảm phục cái chết vô cùng oanh liệt của ông đã lập bàn thờ với đôi câu đối chữ Hán:

Nhà yêu nước Nguyễn Khắc Nhu có 6 người con gồm: Nguyễn Khắc Nhuận, Nguyễn Khắc Trạch, Nguyễn Khắc Đạm, Nguyễn Thị Thúc, Nguyễn Khắc Mạc, Nguyễn Thị Thược. Trong đó, các con gồm: Nguyễn Khắc Trạch, Nguyễn Thị Thúc, Nguyễn Khắc Mạc, Nguyễn Thị Thược đều sinh sống tại quê hương Yên Bái. Hai người chắt của Nguyễn Khắc Nhu khá nổi tiếng trên lĩnh vực nghệ thuật là ca sỹ, nhạc sỹ Khắc Việt và Khắc Hưng.