Sinh năm 1840 tại làng Cách bi, tức làng Gạch, huyện Quế Dương, tỉnh Bắc Ninh, học trò Hoàng giáp Phạm văn Nghị, sau giữ chức Tán tương quân vụ chống Pháp, nên thường gọi là Tán Cao.
Cha là tri huyện Nguyễn Hành thất lộc sớm.
Năm Nguyễn Cao được 12 tuổi, gửi xuống ở nhà học Tú tài Nguyễn gia Chấp, xã Liễu Ngạn, phủ Thuận Thành, tỉnh Bắc Ninh.
Tú tài họ Nguyễn cũng thanh bạch lắm, quanh năm chỉ có sáng bữa cơm chiều bữa cháo. Những ngày nông vụ, thày trò còn phải ra ruộng nhổ mạ và làm việc đồng áng.
Đến năm 20 tuổi, học đã đủ lối, Nguyễn tú tài mới cho xuống nhập môn Hoàng giáp Phạm văn Nghị ở Tam Đăng. Năm 28 tuổi, Cao đỗ thủ khoa Đinh Mão ( 1867 ).
Ông được bổ làm tri huyện Yên Dũng, sau thăng tri phủ Lạng Giang. Lúc Pháp gây hấn ông giữ chức bang biện quân vụ. Rồi ông lên Bố chánh Thái Nguyên, được ít lâu xin đi khẩn hoang ở Nhã Nam.
Năm Quý Mùi ( 1883 ) ông giữ chức Bắc kỳ tán lý quân vụ. Đến khi triều đính ký hoà ước với Pháp, ông lấy làm bất mãn, bèn treo ấn từ quan.
Năm 1885, vua Hàm Nghi xuất bôn, xuống chiếu Cần Vương, Nguyễn Cao tìm đến chiến khu Bãi Sậy phụ lực với Nguyễn thiện Thuật, chuyên giữ việc huấn luyện chiến thuật du kích. Nghĩa quân do Nguyễn Cao chỉ huy thường đánh phá đồn Pháp, gây thiệt hại cho Pháp không ít.
Sau Pháp phải dùng đại binh, hợp quân cùng lính của Hoàng cao Khải và Lê Hoan, thắt chặt vòng vây. Chủ tướng Nguyễn thiện Thuật chạy lên Thái Nguyên rồi thuận đường sang Trung Hoa. Nguyễn Cao tìm về nương náu tại làng Kim Giang, phủ Ứng Hòa, tỉnh Hà Đông. Là làng của Phùng Thoại là đốc học cũng đã từ quan về ẩn. Ít lâu sau Phùng Thoại tạ thế, Nguyễn Cao bèn mở trường dạy học trong làng, học trò đến học rất đông. Vốn người đạo đức, nên được khắp vùng kính nể như bậc phụ huynh.
Một hôm có một nhà nho đến xin câu đối để mừng một ông đỗ tiến sĩ làm quan to. Nguyễn Cao viết:

Đại gia tích đức bách niên, nhi kim giã cao danh hiển hoạn.
Thánh triều khai khoa thủ sĩ, sở cầu hồ tử hiếu thần trung.
- Nhà đại gia tích đức hàng trăm năm, nên ngày nay ông nghè được làm quan to nổi danh lừng lẫy.
- Nhà vua mở khoa thi kén học trò, mong muốn rằng chọn được người làm con có hiếu, làm tôi phải trung.

Không ngờ ông Nghè cạn nghĩa cho rằng câu này dụng ý mỉa mai, bèn ngầm báo quan trên đến bắt họ Nguyễn về tội phản đối chính phủ Bảo hộ. Khi Nguyễn Cao bị bắt, học trò và cả dân làng Kim Giang, rủ nhau gom góp mỗi người một quan tiền xanh để lo lót cho Nguyễn, để Nguyễn được thả về.
Về sau, đề đốc Nhung muốn lập công, lại báo bắt lần nữa. Dân làng lại bổ tiền như lần trước, mong để Nguyễn thoát nạn, song ông không muốn phiền lụy xa gần nhiều quá, tự ra xuất thú. Khi bị giải ra trước quan ta lẫn tây, trong đó có Hoàng cao Khải, hội đồng dụ dỗ nếu chịu ra làm quan sẽ bổ chức to và còn hậu đãi. Nguyễn Cao không chịu hàng, hội đồng lại cho đem khí cụ tra tấn ra để doạ nạt. Ông mỉm cười, nói:
- Tôi đâu có sợ chết, sẽ có cách tự xử, khỏi phiền đến ai.
Ông thò tay vào trong áo lấy mảnh sứ đã dấu sẵn. Rạch bụng, rút ruột ra vứt vào mặt họ Hoàng, rồi thống mạ thậm tệ, làm cho cử tọa vừa kinh hoàng vừa tức giận. Lát sau, ông cắn lưỡi tự tận.
Văn thân Bắc hà có bài thơ viếng như sau:

Nhất đại tài danh, bách đại hùng.
Thệ tâm thiên địa, phi tràng bạch.
Khiết xỉ giang san mãn thiệt hồng.
Cố quốc dư thần dư nhất tử.
Hà thành chánh khí túc tam trung.
Bàng quan bất thiểu quan chiêm giả.
Nhân hỉ, nhân sầu, nhân tích công.

Bản dịch của Nhân phủ

Nhất mực tài danh, nhất mực hùng.
Bỏ mình vì nghĩa vẫn ung dung.
Dạ vàng tỏ rõ cùng trời đất.
Máu đỏ chan hoà khắp núi sông.
Nước cũ cô thần thừa một chết.
Thành Hà trung liệt đủ ba ông (1).
Bàng quan thiên hạ bao người đó?
Ai tủi, ai mừng, ai tiếc công.

Chú thích 
1. Nguyễn tri Phương, Hoàng Diệu, Nguyễn Cao