Các tỉnh một dãy Trung kỳ, tỉnh nào cũng tùng phục, duy có tỉnh Quảng Bình là còn độc lập, vì vua Hàm Nghi còn trốn tránh ở đó, nên bọn văn thân còn dựa vào chủ nghĩa cần vương mà làm kịch liệt. Lúc này Hoàng Phúc làm dữ nhất, Hoàng Phúc tức là gia thần của ông Thuyết, có võ nghệ giỏi, lại có hai đứa thủ hạ là Chít và Én cũng giỏi lắm. Triều đình phái ông Phan Đình Bính (tức là ông ngoại vua Duy Tân) ra tiễu trừ không xong. Chính phủ bảo hộ muốn trấn phục nhân tâm, bèn phiền vua Đồng Khánh ngự giá ra tỉnh Quảng Bình để chiêu phủ dân tâm, và dụ vua Hàm Nghi ra thú luôn thể. Vua Đồng Khánh đem 200 lính Pháp và 800 lính ta, có cơ nghi oai vệ lắm, từ kinh khởi giá ngày 16/5/1886, nhưng ngự giá đi cũng chẳng được gì, nên đến tháng 8 thì về. Sau đến ông Hoàng Kế Viêm ra làm Khâm sai, hết sức chiêu phủ làm cho đảng vũ của Hoàng Phúc lìa tan hết cả. Hoàng Phúc buồn mà chết, bấy giờ mới yên.
Tiếng rằng yên, nhưng mà tỉnh Quảng Bình, chỗ này còn kẻ xưng hùng, chỗ kia còn người khởi nghĩa, đều làm thanh thế cho cụ Phan Đình Phùng, thành ra cái gốc phản đối người Pháp ở Quảng Bình lại chuyển sang Hà Tĩnh. Triều đình bèn phái ông thương tá Hà Tĩnh là Lê Kính Hạp làm Tiểu phủ sứ hội với quân Pháp để đi tiễu.

Trận đầu tiên của cụ Phan Đình Phùng ra binh là đánh phá mấy làng có đạo.

Cái cớ cũng là tự mấy ông cố đạo gây nên trước.
Nói cho phải, thuở nước có lắm ông cố đạo tuy miệng nói chỉ chuyên tâm có việc tôn giáo mà thôi, nhưng cũng lôi thôi xen lộn vào việc chính trị, hoặc ỷ sức mạnh hiếp bức người ta. Nếu không vậy thì ngày xưa chẳng làm gì có việc lương giáo đánh giết nhau mà cũng không đến nỗi có điều gì ác cảm nhau. Thật thế, các ông ấy giảng đạo, song nếu “con chiên" có việc gì kiện cáo với lương dân, tức thời các ông mang "bộ áo dài thâm" vào, rồi thân hành lên quan phủ huyện kêu nài và doạ nạt quan phủ huyện phải xử cho con chiên được kiện. Nếu quan không bênh vực theo ý muốn của các ông thì các ông hâm doạ lên nói với quan công sứ để tìm cách ám hại. Các nhà truyền giáo, không ở trong bờ cõi tôn giáo của mình, lại lấn sang vòng chính trị, dầu ở xã hội nào cũng là chuyện lôi thôi bất bình, không trách nào bây giờ các nước Âu châu phân biệt quyền tôn giáo và nhà nước riêng hẳn ra cũng phải.
Trong hồi Pháp Việt đang giao thiệp với nhau, các ông ấy ỷ thế người Pháp bênh vực mà làm nhiều cử động cho người mình sinh thù, sinh ghét, làm cho nước Pháp bận lòng quá. Có khi chính các ông làm đà cho giáo dân làm bậy, rồi mỗi chuyện gì cũng đổ cho bọn văn thân; cái tình tệ ấy nói sao cho biết. Công sứ tỉnh Nghệ hồi đó là ông Duranton đã thuật lại việc lương giáo xung đột ở Huế như sau này, đủ làm chứng cớ.
- Các ông cố đạo gọi dân đến dụ dỗ, hễ đứa nào chịu theo đạo thì lĩnh sáu đồng bạc. Những đứa đã phải ngửa tay lấy tiền dụ dỗ đút lót cho nó đi đạo như thế, thì có phải là hạng người ra hồn gì đâu. Chúng nó lĩnh tiền xong, rồi về làng doạ nạt anh em đồng bào mình: Bây liệu hồn! Chúng tao đây đã có người Pháp đỡ đầu, dễ bây dám há miệng chửi tao một câu, hay là gây gổ với chúng tao một chút, là chúng ta nướng xác bây cháy ra tro và lấy hết của cải bây.
Trời ơi! Hâm doạ người ta như thế rồi chúng nó làm thật. Vả chăng, sự thật chúng nó vì nghèo đói quá, nên phải tìm một cách để kiếm ăn. Đêm tối chúng nó chụm lửa tự đốt tiêu cơ nghiệp nhà tranh vách nát khốn nạn của chúng đi, rồi la làng chói lói rằng bọn văn thân - hay là dân lương - đã đốt nhà và lấy hết cả của cải chúng nó. Thế là chúng lấy được tiền của nhà nước bồi thường cho mà đám dân lương bị giá hoạ vu oan kia thì bị tội.
Đại khái, cái tình lệ giữa dân lương giáo nước ta hồi trước như thế. Cụ Phan Đình Phùng mà đánh phá hai làng giáo dân cũng vì mấy ông cố đạo ở hai làng đó xui giục giáo dân, định đến ám hại cụ. Rồi độc giả sẽ coi việc này ra sao?
Chúng tôi đã nói, cụ Phan xuất binh trước hết là đánh phá hai làng có đạo, nguyên nhân bởi mấy ông cố đạo ở đấy ám hại văn thân.

Nguyên một đêm kia, vào khoảng canh ba, quân thám tử của cụ đi tuần phòng các dinh trại bắt được ba tên dân đạo là người ở hai làng Định Trường và Thọ Ninh (cùng thuộc trong một tổng với cụ) đang núp lén trong bụi tre, gần bên trường đúc khí giới. Nghĩa quân bắt được và khám xét chúng nó, thấy đứa nào cũng có giắt hoả hổ ở trong mình, họ liền giải ba đứa về đồn nộp. Cụ Phan hội chúng tướng lại tra xét thì chúng xưng rằng: cố của chúng nó xui biểu chúng nó tới lén đốt hết cả đồn trại nghĩa binh ở Đông Thái đi. Tức thời cụ sai chém ba thằng ấy rồi hạ lệnh cho mấy toán nghĩa binh đang đêm kéo đến bao vây đánh phá hai làng Định Trường và Thọ Ninh. Lệnh truyền nghiêm lắm; chỉ đánh phá nhà thờ, nhà cố, cấm xâm phạm nhà dân.
Nghĩa quân đánh riết lắm, mấy ông cố phải sai người liều chết trốn ra khỏi trùng vây mà đi báo, để quân Pháp đóng đồn gần đó về cứu viện. Quân Pháp về tới. Nghĩa quân đón đầu giao chiến được hai giờ đồng hồ rất là hăng hái. Nhưng vì hầu hết nghĩa binh chỉ là hạng tráng đinh nhiệt huyết, vừa mới triệu tập, chưa được huấn luyện gì, cũng chưa quen việc đánh nhau, lại thêm súng đạn lúc này còn là kiểu súng của ta, cách bắn chậm chạp lôi thôi, tự nhiên không sao địch lại súng Pháp, thành ra ứng chiến được hai giờ là nhiều rồi, nghĩa binh phải thua chạy. Quân Pháp thừa thắng đánh rốc tới đại đồn Đông Thái, đốt phá tan tành. Dân cư làng này bị tàn phá tử thương và trốn làng bỏ đi nhiều lắm.

Cụ Phan thu thập tàn quân lại, an ủi tướng sĩ rằng: Được thua là sự thường của binh gia, tướng sĩ ta đừng nên vì thế mà ngã lòng thối chí. Rồi cụ kéo quân tới đóng ở đất hai huyện Hương Sơn và Hương Khê, nay ở chỗ này mai dời chỗ khác, không thể nhất định là chỗ nào, làm cho quân Pháp đi tiễu trừ lắm nỗi khó nhọc, tốn hao. Chẳng những chưa dẹp được cánh quân cụ Phan, mà thanh thế cụ lại càng to, và phong trào văn thân lại càng ùn ùn nổi lên tứ phía.
Sang đầu năm Tuất (1886), Phan đóng quân ở làng Phụng Công về huyện Hương Sơn. Còn anh là ông Phan Đình Thông thì đóng ở Thanh Chương, tỉnh Nghệ. Không ngờ Phan Đình Thông bị tên thủ hạ là Nguyễn Sử làm phản; nó làm nội ứng, nửa thêm thừa lúc ông Phan Đình Thông đang ngủ, dẫn quân lính bảo hộ đến vây đồn, trong lúc thảng thốt ông bị bắt sống giải về tỉnh Nghệ. Tổng đốc tỉnh Nghệ hồi ấy là Nguyễn Chính, vẫn còn ghi nhớ chuyện cũ, thù hiềm cụ Phan, hồi làm Ngự sử, đã dâng sớ hạch tội y làm Kinh lược Bắc kỳ, chỉ hư trương nghi vệ và tác oai tác phúc xằng, không chăm lo việc dân việc nước giữa lúc gian nan. Câu chuyện cũ này, một đoạn trên xa, chúng tôi đã nói. Vì sự hạch tội ấy vua Tự Đức bãi chức Kinh lược của Nguyễn Chính. Sau nhờ Bảo hộ phục chức, cho làm Tổng đốc Nghệ An.

Nay bắt được anh cụ Phan, Nguyễn Chính toan chém tức thời cho đã cơn giận và trả thù xưa. Nhưng rồi tấm lòng mưu lập đại công biểu và ngừng tay lại, trong trí suy tín làm sao chiêu dụ được Phan Đình Phùng ra hàng, thì mình lập công lao với Bảo hộ to lớn, tự nhiên cái ngôi cực phẩm triều đình ở trong túi áo. Chừng nào chiêu dụ mà Phan Đình Phùng không chịu ra hàng thì bấy giờ sẽ giết Phan Đình Thông cũng chưa muộn. Nghĩ vậy rồi, Nguyễn Chính một mặt sai kẻ tâm phúc đi dò tung tích cụ Phan ở miền Hương Sơn, Hương Khê để dỗ cụ ra quy thuận.

Hồi đó, ông Tiễu phủ sứ Lê Kính Hạp, nguyên trước là anh em bạn thân với cụ, nhưng sau Bảo hộ sai đem quân đi đánh cụ, cảnh ngộ hai người gần giống như Ngũ Tử Tư và Thân Bao Tư ở đời Đông Châu. Nhân dịp anh cụ bị bắt, Lê Kính Hạp muốn lấy lẽ cốt nhục tình thâm, bèn viết gửi cụ một bức thư chữ Hán cứng cáp gọn gàn mà hay, xin dịch ra quốc văn như vầy:

"Bác Phan,
Tôi với bác xa cách bấy lâu nay, tấm tình thương nhớ, chắc cũng bồi hồi như nhau, đều đó không cần phải nói.

Duy có điều phải nói là mấy lúc gần đây tôi đi qua làng Đông Thái ngó thấy đền thờ cùng là phần một các đức tiên quân bác nghiêng ngả điêu tàn không ngờ tôi sụt sùi nước mắt mà khóc.
Này bác Phan ơi! Ngày nay trong họ hàng làng xóm được an hay nguy chỉ can hệ ở nơi bác, tính mạng ông anh bác mất hay còn, cũng chỉ can hệ ở nơi bác. Thôi thì tấc lòng trung của bầy tôi đối với vua, tới đó bác cũng đủ chứng tỏ với quỷ thần rồi, không lo ai chê mình vào đâu được nữa. Còn Hiếu và Đễ cũng là cái gốc lớn của đời người ta, có lẽ nào bậc người khoa giáp như bác mà học chưa tới nơi hay sao?
Huống chi là ông nuôi tay áo, nọc ở trong mình tấm gương ấy không phải đâu xa, kỳ thật nó sờ sờ ở con mắt bác rồi đó.

Núi Hồng sông Lam có vô số là cảnh non nước tốt đẹp có thể làm nơi vắng vẻ thanh cao cho bác ở để tu dưỡng chí tiết của bác được.

Thôi nên về đi thôi! Tôi xin nói thật".
Cụ Phan tiếp được thư này, cười mà nói rằng:
- Mấy anh đồ nho hèn nhát, động một chút là đem cửa nhà mồ mả ra để doạ nạt người ta.

Nhân dịp cụ nói với chúng tướng rằng:
- Tôi từ khi cùng chư tướng khởi binh cần vương đã có chủ tâm là bỏ cả việc gia đình quê quán ra ngoài, không nghĩ gì đến nữa. Nay tôi chỉ có một ngôi mộ rất to, nên giữ, là đất Việt Nam; tôi chỉ có một ông anh rất to, đang bị nguy vong, là cả mấy mươi triệu đồng bào. Nếu về mà sửa sang phần mộ của mình, thì ngôi mộ cả nước kia ai giữ? Về để cứu vớt ông anh của mình, thì bao nhiêu anh em trong nước ai cứu? Tôi bây giờ thề chỉ có một cái chết mà thôi...
Nói vậy rồi cụ không thèm viết thư trả lời, chỉ nhắn kẻ đưa thư về nói với Lê Kính Hạp rằng: Nếu ai có làm thịt anh ta, thì nhớ gửi cho ta bát nước canh!
Chúng tướng nghe đều ứa nước mắt. Cụ không chịu bãi binh quy hàng, tức là ông Phan Đình Thông bị hại, không cần phải nói.
Từ đấy cụ cùng tướng sĩ đóng đồn trong rừng, trên núi, thường dùng cách đánh du kích, vì chưa đủ sức đương trường đối chiến.

Bảo hộ phái quân lính đi tập nã hoài. Nghĩa binh cũng giao chiến nhiều trận, có trận được, trận thua, nhưng kể ra thì cái bước lui nhiều, mà bước tới rất ít. Vì quân lính Bảo hộ tới đâu cũng có kẻ truyền báo và trợ lực rất là nhanh nhẹn. Còn nghĩa quân thì đánh nhau không quen, khí giới lại xấu, chỉ trông cậy được là ở lòng người mà thôi, nên chi không địch được với quân Bảo hộ là phải.
Qua năm Hợi (1887), Phan nghĩ mình cô lập không xong, bèn quyết kế ra Bắc kỳ để hiệu triệu đám văn thân chí sĩ ở ngoài ấy cùng nổi lên làm thanh viện. Khi đi, cụ dặn dò chúng tướng hãy khoan đừng nên bạo động để đợi cụ về sẽ hay.