Theo kết quả nghiên cứu của các nhà địa chất học, mảnh đất phường Phạm Ngũ Lão ngày nay nằm trong vùng trũng do kiến tạo tự nhiên qua hàng vạn năm, cùng với sự bồi tụ diễn ra trên mặt trái đất. Đất đai trên địa bàn phường thuộc loại phù sa cổ của các dòng sông lớn là sông Hồng, sông Thái Bình, cùng các nhánh sông nhỏ hơn như sông Kẻ Sặt, sông Bình Lao tạo lên.

Cũng như khí hậu của cả tỉnh Hải Dương và thành phố Hải Dương, khí hậu trên địa bàn phường nằm trong khu vực khí hậu nhiệt đới gió mùa. Khí hậu hằng năm chia làm hai mùa rõ rệt, với mùa đông lạnh, ít mưa và mùa hè nóng, ẩm, nhiều mưa. Nền nhiệt trên địa bàn phường thay đổi theo mùa, trong đó bình quân 230C. Số giờ nắng bình quân đạt 1.600 - 1.700 giờ/năm. Lượng mưa trung bình đạt hơn 1.100 mm/năm. Với điều kiện khí hậu này, tạo thuận lợi cho sự phát triển của cây trồng và sinh hoạt nhân dân.

Từ xa xưa, nơi đây là một vùng đầm lầy, lau sậy um tùm với những doi đất cao bên khu vực sông Bình Lao, sông Hàn Giang. Con người về đây sinh sống cũng rất sớm. Người dân sống chủ yếu bằng đánh bắt thuỷ sản và cấy trồng cây lúa nước.

Theo kết quả khảo cổ học, tư liệu lịch sử và di tích lịch sử - văn hóa trên địa bàn đã chứng minh vùng đất phường Phạm Ngũ Lão ngày nay thuộc địa bàn của thành phố Hải Dương, tỉnh Hải Dương có bề dầy phát triển lịch sử liên tục gắn liền với lịch sử phát triển của tỉnh, thành phố. Từ thời Hùng Vương, vùng đất này thuộc bộ Dương Tuyền; thời Bắc thuộc, thuộc quận Giao Chỉ, sau đó đổi thành Hồng Châu và tồn tại suốt thời Đinh, Tiền Lê; đến thời nhà Lý - Trần đổi thành Hồng Lộ, sau đó đến năm 1337 đổi thành Hải Đông Lộ; thời thuộc Minh (năm 1407) được đổi tên thành Phủ Nam Sách, đến năm 1469 đổi thành Thừa Tuyên Hải Dương; năm 1802, đổi thành trấn Hải Dương và đến năm 1831 đổi thành tỉnh Hải Dương.

Năm 1804, nhà Nguyễn cho xây dựng Thành Đông thành một trung tâm quân sự, hành chính, một đồn binh với một số dinh thự của các quan đầu tỉnh thuộc trấn Hải Dương. Trong Thành Đông chỉ có quan quân, không có dân. Nhưng do nhu cầu của cuộc sống, người nhà quan quân, binh lính, người buôn bán, thợ thủ công, nông dân tụ tập làm ăn sinh sống ở xung quanh phía ngoài thành. Họ quần cư thành những xóm nhỏ, phát triển dân thành Giáp (đơn vị hành chính cơ sở tương tự như thôn), sau lớn rộng dần, kết thành một trung tâm dân cư đông đúc kéo dài từ đất Đông Mỹ (khu vực Trung tâm Thương mại ngày nay)

chạy dọc theo sông Sặt tới giáp Đề Cầu (khu vực Công ty cổ phần Sứ Hải Dương ngày nay) với các thôn Bình Lao, Bảo Sài, Đông Hoà (gồm các thôn xóm Đề Cầu, Gốc Đa, Xe Rác sáp nhập lại).

Năm 1858, thực dân Pháp nổ súng xâm lược nước ta, sau khi mở rộng phạm vi đánh chiếm ra miền Bắc, ngày 04/12/1873, quân Pháp bắt đầu nổ súng đánh chiếm Thành Đông lần thứ nhất và chúng đã chiếm được Thành Đông. Nhưng đến ngày 31/12/1873, thực dân Pháp đã trao trả Thành Đông do chúng đã thoả hiệp được với triều đình nhà Nguyễn.

Ngày 18/8/1883, thực dân Pháp huy động 300 quân tiến đánh Thành Đông (thành Hải Dương) lần thứ hai và chiếm đóng luôn thành. Sau đó chúng thi hành chính sách cai trị, bóc lột và đàn áp nhân dân ở đây nói riêng và cả tỉnh Hải Dương nói chung.

Từ thực tế lịch sử có thể khẳng định, trước khi thực dân Pháp chính thức chiếm đóng và đặt ách đô hộ lên Thành Đông, nhân dân ngoài thành và vùng lân cận đã hình thành lên các khu dân cư có đời sống kinh tế khá sầm uất.

Ngày 31/12/1892, lần đầu tiên địa giới hành chính đô thị Hải Dương được xác định do viên Toàn quyền Đông Dương ban hành, trong đó bao gồm khu vực nông thôn xung quanh đô thị gồm thôn Đông Quan (thuộc xã Hàn Giang), thôn Trung Xá, Bảo Sài (thuộc xã Bình Lao) và khu đầm lầy ngoại thành ven sông Thái Bình.

Tiếp sau đó vào các năm 1897, 1900, 1923, 1925, 1934, 1943, trải qua các đời Toàn quyền Đông Dương khác nhau đã ban hành các Nghị định điều chỉnh mở rộng địa giới đô thị Hải Dương, trong đó toàn bộ đất của các làng Bình Lao, Bảo Sài, Hàn Giang đều xác định là khu vực ngoại thành của đô thị Hải Dương thuộc tổng Hàn Giang, huyện Cẩm Giàng.

Cách mạng tháng Tám thành công, theo sắc lệnh số 63/SL và 77/SL từ cuối năm 1946, thành phố Hải Dương chuyển thành thị xã Hải Dương trực thuộc tỉnh Hải Dương. Địa bàn phường Phạm Ngũ Lão ngày nay gồm hai phố là phố Đông Hoà và phố Bình Lao (do thôn Bình Lao và thôn Bảo Sài gộp lại) thuộc đơn vị hành chính Khu phố Chi Lăng của thị xã Hải Dương.

Cuộc kháng chiến chống thực dân Pháp thắng lợi, thị xã Hải Dương được giải phóng hoàn toàn ngày 30/10/1954, sau đó tên Khu phố Chi Lăng được đổi thành Khu phố 1 của thị xã Hải Dương, tỉnh Hải Dương.

Trong cải cách ruộng đất (năm 1955, 1956), địa giới khu vực Bình Lao, Bảo Sài được cắt ra khỏi Khu phố 1 cùng với Tân Kim, Bình Lâu để thành lập xã Cẩm Bình, thuộc huyện Cẩm Giàng. Đến thời kỳ sửa sai năm 1957, hai khu vực Bình Lao, Bảo Sài lại chuyển về Khu phố 1.

Đầu năm 1967, Uỷ ban hành chính thị xã Hải Dương quyết định chuyển toàn bộ điện tích đất đai và các hộ sản xuất nông nghiệp của Khu phố 1 về khu VI để thành lập xã Bình Hàn. Các hộ cán bộ, công nhân, viên chức và các hộ phi nông nghiệp được giữ nguyên gọi là tiểu khu phố 1, thuộc Khối phố 1

Năm 1968, tỉnh Hải Dương sáp nhập với Hưng Yên thành tỉnh Hải Hưng, địa bàn thị xã Hải Dương, trong đó có tiểu khu phố 1 thuộc tỉnh Hải Hưng.

Giữa năm 1975, khối phố 1 giải thể, tiểu khu phố 1 được đổi tên gọi là tiểu khu Phạm Ngũ Lão nằm dưới sự quản lý của Uỷ ban hành chính thị xã Hải Dương.

Ngày 15/6/1981, Uỷ ban nhân dân tỉnh Hải Hưng quyết định thành lập phường Phạm Ngũ Lão trên cơ sở toàn bộ diện tích và dân cư của tiểu khu Phạm Ngũ Lão trước đó, phường là một trong những đơn vị hành chính nằm ở trung tâm của thị xã Hải Dương.

Theo nội dung Nghị định số 64/CP của Chính phủ ban hành ngày 28/10/1996 về việc thành lập các phường mới trên địa bàn thị xã Hải Dương và Chỉ thị số 364/CP của Chính phủ ban hành giữa năm 1997 về việc phân lại ranh giới thành phố Hải Dương, phường Phạm Ngũ Lão được giữ nguyên địa giới hành chính trước đó và sáp nhập thêm toàn bộ nhân khẩu và đất đai của hai thôn Bình Lao, Bảo Sài.

Đến ngày 06/8/1997, Chính phủ đã ban hành Nghị định số 88/NĐ-CP về việc thành lập thành phố Hải Dương thuộc tỉnh Hải Dương là đô thị loại III, Phạm Ngũ Lão là một phường của thành phố Hải Dương, tỉnh Hải Dương.

Ngày 15/5/2009, Thủ tướng Chính phủ ban hành Quyết định số 616/QĐ-TTg công nhận thành phố Hải Dương là đô thị loại II, trực thuộc tỉnh Hải Dương, Phạm Ngũ Lão là một phường của thành phố Hải Dương.

Ngày 17/5/2019, Thủ tướng Chính phủ ban hành Quyết định 580/QĐ-TTg công nhận thành phố Hải Dương mở rộng đạt tiêu chí đô thị loại I, phường Phạm Ngũ Lão là phường trung tâm của thành phố Hải Dương có diện tích tự nhiên là 75,95 ha, với vị trí phía Đông giáp phường Trần Phú, phía Tây giáp phường Tân Bình, phía Nam giáp phường Lê Thanh Nghị, phía Tây Bắc giáp phường Bình Hàn, phía Đông Bắc giáp phường Nguyễn Trãi nên tốc độ đô thị diễn ra mạnh, nhiều diện tích đất trong đó chủ yếu là ao hồ, kênh rạch được san lấp để xây dựng nhà cửa, đường sá và các công trình công cộng. Tuy nhiên, do vị trí đặc biệt quan trọng, Hồ Bình Minh, Hào thành và kênh T2 vẫn còn được giữ gần như nguyên vẹn làm nhiệm vụ tiêu thoát nước cho cả thành phố. Địa bàn phường có các tuyến đường trọng yếu như Nguyễn Lương Bằng, Phạm Ngũ Lão, Điện Biên Phủ, Trương Mỹ, Bình Minh, Tuệ Tĩnh và Mạc Thị Bưởi… đã góp phần quan trọng, phục vụ đắc lực cho sự nghiệp phát triển kinh tế, văn hóa, xã hội ở địa phương. Ngoài 11 khu dân cư như hiện nay, trên địa bàn phường còn có các đơn vị kinh tế lớn như nhà máy sứ Hải Dương, ngân hàng Đầu tư và Phát triển, ngân hàng Nông nghiệp và Phát triển nông thôn tỉnh, Công ty cổ phần xây dựng… đóng trên địa bàn để góp phần phát triển quê hương.

Từ một khu dân cư nhỏ bé, hình thành tự phát sống ven Thành Đông, trải qua bước thăng trầm cùng với lịch sử phát triển của đô thị Hải Dương, phường Phạm Ngũ Lão đã từng bước hình thành, phát triển thành một phường trung tâm của thành phố Hải Dương, có vai trò quan trọng trên tất cả các lĩnh vực, góp phần đưa thành phố Hải Dương trở thành đô thị vệ tinh lớn của Hà Nội và phấn đấu trở thành thành phố trực thuộc Trung ương trong tương lai không xa.