Theo Đại Nam Liệt Truyện thì Tằng tổ là Thuyết làm Kỵ úy nhà Lê. Tổ ba đời là Thước làm nội thị buổi quốc sơ (tức là buổi đầu lập nước, có nghĩa là vào thời chúa Nguyễn cát cứ ở Thuận - Quảng). Cụ thân sinh là Hà Văn Nhàn, đỗ tú tài khoa Tân Ty đời vua Minh Mạng.

Theo sách Danh Nhân Quảng Bình tập 2 thì Thủy Tổ họ Hà Văn ở làng Vĩnh Tuy là cụ Hà Văn Thiền, quê làng Kim Sơn, phủ Ninh Bình (nay là tỉnh Ninh Bình) làm quan đời nhà Trần vào miền Trung công vụ rồi đưa gia đình vào cho đến nay (tính đến 1980) đã là 12 đời.

Sinh ra và lớn lên trong một gia đình có truyền thống hay chữ, Hà Văn Quan đi học từ khi 6 tuổi. Vừa thông minh lại rất chăm chỉ, ham học, nên ông có tiếng hay chữ từ khi còn nhỏ. Thầy học và ông cụ thân sinh bắt ông thường tập viết trên các mặt đá, mặt tre, viết trên mo cau nên chữ ông rất đẹp, nổi tiếng là văn hay chữ tốt.

Tính tình hiền lành từ tấm bé. Lớn lên thích nói lời hay, thích làm việc tốt, cư xử ôn hòa, kính người trên, trọng người dưới. Lúc đầu học với thầy tú tài Nguyễn Đình Dung tại làng Phú Nhuận, sau thầy Tú Dụng được bổ đi làm giám thị ở tỉnh, gia đình cho Hà Văn Quan đi theo thầy, tiếp tục học tập.

Năm Triệu Trị thứ 7, Hà Văn Quan đỗ tú tài (1848).

Năm Tự Đức thứ 8 (1855) đậu cử nhân khoa Ất Mão.

Hai năm sau, mẹ mất. Hà Văn Quan chịu cư tang, cho đến năm Tự Đức thứ 18, ông thi hội, đỗ Phó Bảng (khoa Ất Sửu - 1865).

Do chân nội các kiểm thảo, bổ tri huyện Gia Lộc rồi chuyển đi huyện Bình Giang. Quan tỉnh thấy Hà Văn Quan làm việc chăm lo đến dân tình, tính tình điềm đạm biết thương dân, tâu lên triều đình, ông được thăng lên Thị Độc, lĩnh Hà Tĩnh quản đạo.

Năm Tự Đức thứ 26 (1873) gia thưởng hàm Thị Giảng học sĩ sung phó sự sang Yên Kinh (Bắc Kinh - Trung Quốc ngày nay).

Khi đi sứ Trung Quốc về, ông đem về 12 đài sách của nước bạn mà trong quá trình công tác đã chọn đọc, dâng lên nhà vua để mong cho in ra phổ biến, vua Tự Đức đã nói với cả triều đình rằng: ’’Cả thiên hạ có 4 bồ chữ, riêng Trẫm có 2 bồ chữ, thiên hạ 1 bồ, Hà Văn Quan 1 bồ".

Câu nói này thể hiện việc Hà Văn Quan vốn là một người ham đọc sách, đi đâu cũng tìm sách hay để đọc, để chép. So với các nhà làm quan khác, người ta đi ra nước ngoài (đi Trung Quốc ngày xưa cũng gọi là ra nước ngoài) thường đem về những hàng hóa, sản phẩm, đồ dùng quý, lạ... riêng ông, chỉ đưa sách về, thứ để dùng, thứ dâng lên vua.

Việc ông dâng sách lên vua, có lẽ, ông cũng biết rõ, vua Tự Đức cũng là người yêu sách, ham sách như ông. Cho nên, lời vua phán ấy dù có hơi quá đáng, có ý đề cao, nhưng cũng thực tế về phương diện ham đọc, ham học của Hà Văn Quan.

Sau khi đi sứ về, ông được thăng Hồng Lô Tự Khanh, biện lý Bộ Binh. Năm thứ 28 (1875) vua bảo: Văn Quan bổ làm quan ngoài chưa lâu, chuẩn cho đổi bổ đi Án Sát Ninh Bình cho được thêm thông thạo. Nhưng ông làm sớ tâu xin lưu lại kinh để học tập chính thể. Vua y cho.

Năm ấy có cuộc duyệt lớn về trận pháp thủy binh, bộ binh, hình dong quân đội nghiêm chỉnh, ông được thưởng kim tiền nhiều lần.

Năm Tự Đức thứ 31 (1878) cất lên Binh bộ Hữu Thị Lang sung chủ khảo trường Nam Định rồi thăng lên quyền tham tri. Hà Văn Quan dâng sớ tâu bày về binh chính, xin dồn lập đội ngũ, huấn luyện binh sĩ, liệu thêm lương thảo và rèn đúc súng ống để phòng khi dùng đến.

Lại thấy đường biển nhiều khi bị nghẽn, xin vua chọn thủy binh, lập đạo quân tuần tiểu.

Các việc do Hà Văn Quan tâu xin đều được vua giao xuống quan coi việc xem xét bàn định thi hành.

Năm thứ 34 (1881) vua dụ rằng: ’’Hà Văn Quan làm quan mà biết lo nước, yêu dân, chăm chỉ cố gắng, nhưng nhà có cha mẹ già, vậy ban cho sâm, quế, bạc, lụa làm đặc ân’’.

Năm sau, cụ thân sinh qua đời, ông lại về cư tang, nhưng không bao lâu, lại được triều đình gọi ra làm việc, lĩnh Tham Tri bộ Binh.

Tự Đức mất, Kiến Phước mới lên ngôi năm đầu, phái ông ra Hải An làm Tổng đốc. Bấy giờ tình hình biên giới rối loạn, bọn Hán gian người Thanh (Trung Quốc) xúi dục dân tình nổi loạn, đường sá giao thông nghẽn trở. Ông tự đi một mình đến vỗ về nhân dân, toàn hạt được yên, có chiếu chỉ của vua khen ngợi. Nhưng, người Pháp ngờ ông thông đồng với quân phiến loạn nhà Thanh, bèn bắt ông đem về Gia Định, mang yên trí ở Côn Lôn hơn một năm.

Năm đầu Đồng Khánh (1886), người Pháp thả ông ra, từ Gia Định, ông trở về kinh, được bổ Thị Lang, lĩnh Tham Tri Công bộ kiêm quản lý Đô Sát Viện, nhưng ông dâng sớ từ chối, vua vẫn bắt nhận chức vụ trông nom công việc xây dựng điện Cần Chánh. Khi ông được người Pháp trao trả trở về Kinh, trong tờ biểu tạ ơn vua, ông có viết:

- Khi đem tấm thân hiếu nước, đã định lấy cái chết đền đáp, ngày đến chốn hoang vu muôn dặm, không ngờ được sống quay về... và: ’’con chim trong lòng lại được thấy tháng ngày xanh mà bay liệng; con ngựa hèn trong chuồng lại được đem thử roi, thúc trên con đường yên vui’’ (...)

Tháng giêng năm thứ 3 niên hiệu Đồng Khánh (1888) Hà Văn Quan giữ chức quyền Thượng Thư bộ hình, sung cơ mật viện đại thần, rồi mất tại chức.

Lúc ông lâm bệnh, triều đình nghĩ công lao ông vất vả, luôn ban cho sâm, quế quý. Đến lúc mất, lại cấp tiền, lụa và cho ban tế tại nhà. Bấy giờ Hà Văn Quan 62 tuổi.

Vậy là ông xuất thân là một nhà khoa bảng văn hay chữ tốt, ham đọc sách, viết sách, lại có tài quân sự, làm Tham Tri bộ Binh, có nhiều ý kiến hay về tổ chức quân đội, và cuối đời lại giỏi về pháp luật, giữ đến chức quyền Thượng Thư bộ Hình.

Hà Văn Quan, một nhân vật: Văn chương, quân sự, hình án đều kiêm toàn.

Trước tác của Hà Văn Quan để lại có: ’’Yên hành nha ngữ thi cảo". Sách để lại cho gia đình, nhưng vì chiến tranh, nay đã thất lạc, chưa tìm ra bản gốc. Nhưng, theo ông Trần Văn Giáp, trong sách "lược truyện tác gia Việt Nam’’ lại nói ’’Yên hành nha ngữ thi cảo’’ của Hà Văn Quan là một tập văn (chứ không phải là thơ).

Quê hương ông, làng Vĩnh Tuy, rất kính trọng ông, đã lập bài vị Hà Văn Quan và rước vào thờ ở đình làng cùng với ba vị tiền khai khẩn của làng, mặc dầu ông đã có đền thờ riêng.

Hậu duệ của ông, trong thời chống Mỹ cứu nước, có Hà Văn Cách, một chiến sĩ ngoan cường, rà phá bom nổ chậm hy sinh, được Nhà nước Cộng hòa xã hội chủ nghĩa Việt nam truy tặng Anh hùng lực lượng vũ trang nhân dân.