Nhập ngũ tháng 7 năm 1966, ông biên chế vào Đại đội C23, E174F316, được huấn luyện chỉ vẻn vẹn có 3 tháng, sau đó hành quân sang chiến đấu tại mặt trận Lào tại tỉnh Phong salỳ tham gia chiến dịch Nậm Bạc giúp bạn Lào đánh quân phản động. Đây là trận đánh đầu tiên trong cuộc đời binh nghiệp và có nhiều kỷ niệm khó quên như đánh ở cánh đồng Kataynhân, nguyên trung đội của ông đã tiêu diệt được 85 tên địch.

Năm 1968, trung đội của ông tiếp tục hành quân về Nakhăng tỉnh Sầm Nưa đánh đón lõng tiêu diệt quân phỉ Vàng Pao. Đầu năm 1969, tham gia chiến dịch Quyết thắng, toàn bộ lực lượng vận động tiến vào cánh đồng Chum ở Xiêng Khoảng đánh quân phản động Lào và 50 tiểu đoàn Thái Lan ra lấn chiếm cánh đồng Chum. Lúc này, ông Rầm đã được tín nhiệm là chính trị viên phó C23 trinh sát đặc công, đơn vị được trực tiếp nhận nhiệm vụ đánh vào các cao điểm phòng thủ kiên cố tại ngã ba Noọng Pẹp. Tại đây, địch phòng thủ rất kiên cố, hàng rào thép gai vây kín, phòng thủ hỏa lực...

Sau hơn 4 giờ chiến đấu quyết liệt, đại đội đã đánh bại được tiểu đoàn phòng thủ của địch ở ngã ba này và đã chiếm được khu vực chủ chốt. Trong trận chiến đấu này, Đại đội C23 đã bắn cháy 3 xe tăng, tiêu diệt 145 tên địch, bắt sống 5 tên và phá tan điểm phòng thủ.

Đến năm 1970 - 1971, địch vẫn ngoan cố tấn công ra, Đại đội tiếp tục tham gia chiến dịch Toàn thắng. Lúc này, lực lượng của địch rất đông và áp đảo, với sự chỉ huy tài tình, Đại đội C23 đã tiến vào và đánh trực tiếp sở chỉ huy ở trung tâm cánh đồng Chum khu vực bản A, trận đánh này diễn ra trong 3 đêm, buộc địch phải đầu hàng. Khi địch rút lui, đại đội tiếp tục đánh vào các điểm phòng thủ quan trọng tại Phu Đúp, Mường Sủi..., trận này địch phòng thủ kiên cố bằng hàng rào lò xo, mái nhà trải thép gai nên rất khó tiếp cận nhưng với sự kiên cường, dũng cảm và nhạy bén, đại đội đã chiếm các điểm quan trọng trong một ngày một đêm bằng cách đánh giáp lá cà.

Cựu chiến binh Phạm Văn Rầm xúc động nhớ lại: “Trong trận đánh ác liệt này, do quân địch chống trả quyết liệt, tôi và một số đồng đội bị thương nhẹ, sau khi được đồng đội sơ cứu, chúng tôi tiếp tục chiến đấu và Đại đội đã giành chiến thắng hoàn toàn ở khu vực này”.

Năm 1973, ông được cử đi học khóa trung cấp chính trị ở Đông Anh, Hà Nội. Đến cuối năm trở về đơn vị củng cố lực lượng, lúc này ông được bổ nhiệm là Chính trị viên phó Tiểu đoàn E174. Cuối năm 1974, ông nhận nhiệm vụ Phó chủ nhiệm chính trị Trung đoàn 174. Sau đó, Trung đoàn nhận nhiệm vụ hành quân theo đường Trường Sơn vào Tây Nguyên (Buôn Mê Thuột) với nhiệm vụ trinh sát, chuẩn bị chiến trường đánh vào 2 điểm phòng thủ: khu vực Chi Dê - nơi cao điểm của địch và dãy kho đạn, vũ khí Mai Hắc Đế. Sau khi trận đánh này kết thúc, trung đoàn đã bắt sống trung úy địch và khai thác làm cơ sở triển khai cho chiến dịch Tây Nguyên.

Ngày 10/3/1975, chiến dịch Tây Nguyên chính thức bắt đầu, trong ba ngày từ 10 - 12/3, quân ta đã chiếm được cao điểm Chi Dê và phát triển kho đạn Mai hắc Đế. Ngay sau đó, Trung đoàn phát triển đánh vào nhà thờ quân đội và sở chỉ huy Sư đoàn 23 của quân ngụy Sài Gòn và bắt sống Đại tá Luật (Tỉnh trưởng tỉnh Đắc Lắk), Đại tá Quang (Sư trưởng Sư đoàn 23) và giải phóng Buôn Mê Thuột.

Ngay sau đó, Trung đoàn nhận được nhiệm vụ khẩn cấp từ chỉ huy phát triển tham gia vào chiến dịch Hồ Chí Minh, tham gia trinh sát và đánh vào các điểm Lào Táo, trận địa pháo Đồng Chùa và giải phóng nhân dân khu vực này, tiếp tục tiến đánh địch ở Củ Chi, Hóc Môn và phát triển tiến vào đánh sân bay Tân Sơn Nhất, giải phóng hoàn toàn miền nam từ ngày 26 - 30/4/1975.

Sau khi giải phóng hoàn toàn miền Nam, năm 1976, trung đoàn hành quân lên Than Uyên, tỉnh Hoàng Liên Sơn cũ (nay thuộc tỉnh Lai Châu) làm nhiệm vụ huấn luyện. Lúc này ông Rầm là Phó chính ủy Trung đoàn 174 trực tiếp chỉ huy đánh biên giới bảo vệ Tổ quốc ở Đồng Dù, Tà Phìn, Ô Quý Hồ... Khi đất nước hoàn toàn hòa bình, ông Rầm được tổ chức phân công về làm Chủ nhiệm chính trị Tỉnh đội Hoàng Liên Sơn.

Đất nước thống nhất, hòa bình lập lại, Trung đoàn E174 - nơi ông Rầm và đồng đội được giao nhiệm vụ trinh sát đặc công đã được Nhà nước phong tặng nhiều danh hiệu cao quý. Đại tá Phạm Văn Rầm đã được Nhà nước tặng thưởng các danh hiệu cao quý, như: Huân chương Chiến công hạng Nhất, Huân chương chiến sỹ vẻ vang, Huân chương SaLaLợt do Chính phủ Lào phong tặng...

Khi nhắc lại hồi ức hào hùng, ông Rầm cười: “Là người lính Cụ Hồ, được giao nhiệm vụ thì phải gắng sức mà làm. Nếu có xét tặng thưởng thì cũng tốt mà không khen thưởng thì tôi cũng thấy không có vấn đề gì phải băn khoăn suy nghĩ. Tôi chỉ thương những đồng đội đã hy sinh. Trong những ngày gặp mặt Hội đồng ngũ, Hội Cựu chiến binh, chúng tôi đều tổ chức thắp hương mời các anh về. Nếu có tặng thưởng thì chính những con người ấy mới xứng đáng được tặng thưởng, bởi họ đã hy sinh cả cuộc đời cho đất nước, cho dân tộc".

 Minh Tuấn