Sau khi xâm lược đất nước ta, Thực dân Pháp thi hành chính sách chia để trị. Ngày 22-6-1886, theo ý muốn của quan thầy, Kinh lược Bắc Kỳ ký nghị định cắt đất đai có đông đồng bào Mường cư trú thuộc tỉnh Hưng Hoá, Sơn Tây, Hà Nội và Ninh Bình thành lập một tỉnh mới gọi là tỉnh Mường – đó là vùng đất Thanh Sơn, châu Mai, Đà Bắc, châu Mộc, châu Yên, châu Phù Yên của Hưng Hoá ( Hưng Hoá lúc ấy bao gồm cả Phú Thọ, Sơn La, Tuyên Quang sau này ), Kỳ Sơn, Lương Sơn thuộc phủ Quảng Oai, Quốc Oai của Sơn Tây, Mỹ Đức của Hà Nội ( sau là Hà Đông ), Lạc Sơn ( gồm cả vùng Lạc Thuỷ và Nho Quan – Ninh Bình ). Phủ Vàng An – huỵên Đức An gồm 7 tổng : Tinh Nhúc, Vũ Vô, Cao Phong, Mỹ Khê, Bối Sơn, Cẩm Đái và Yên Lãng. Phủ Lương Sơn gồm 6 tổng : Kim Bôi, Gia Cát, Hoà Lạc, Phương Hạnh, Lý Lương và Thanh Dương. Phủ Lạc Sơn – huyện Lạc Thuỷ có 7 tổng ( Phủ Lạc Sơn gồm 4 tổng: Lạc Thiện, Lạc Nghiệp, Lạc Đạo, Lạc Thành; huyện Lạc Thuỷ gồm 3 tổng: Yên Lạc, Yên Thái, Yên Bình ). Phủ Chợ Bờ gồm 5 châu: Đà Bắc, Mai Châu, Mộc Châu, Yên Châu, Phù Yên Châu. Ngày 27-7-1886, Tổng sứ Trung - Bắc Kỳ của Pháp tại Huế ra Nghị định chuẩn y Nghị định của kinh lược Bắc Kỳ.
Lúc mới thành lập tỉnh Mường có 4 phủ là: Vàng An – huyện Đức An, Lương Sơn, Chợ Bờ, Lạc Sơn – huyện Lạc Thuỷ. Tỉnh lỵ đặt tại Chợ Bờ, nên gọi là tỉnh Bờ. Từ đó đến năm 1896, tỉnh lỵ và tổ chức hành chính của tỉnh Mường có nhiều thay đổi. Tỉnh lỵ đặt tại Chợ Bờ ít lâu thì ngày 29-11-1886, Tổng sứ Trung – Bắc Kỳ ra quyết đinh chuyển tỉnh lỵ về Phương Lâm cho nên gọi là tỉnh Phương Lâm. Nhưng vì ở đây thường bị ngập lụt nên lại chuyển lên Chợ Bờ. Sau cuộc tấn công bất ngờ của nghĩa quân Đôc Ngữ vào chợ Bờ đêm 29 rạng ngày 30 – 01 – 1891, giết chết tên phó sứ Rô-giơ-ri ( Rougery ), thực dân Pháp hoảng sợ chuyển một bộ phận hành chính ở tỉnh lỵ Chợ Bờ về Hoà Bình ( Kỳ Sơn ), nhưng vẫn duy trì nhiệm sở ở Chợ Bờ. Ngày 5-9-1896, tỉnh lỵ tỉnh Mường chính thức được chuyển về đóng tại làng Vĩnh Diệu xã Hoà Bình, phía bờ trái sông Đà , đối diện với Phương Lâm. Từ đó, tỉnh Mường được gọi là tỉnh Hoà Bình. Trong quá trình, thực dân Pháp tiến hành bình định, có thời gian chúng lập đạo quan binh Mỹ Đức (15-01-1890), bao gồm cả Kỳ Sơn, Lương Sơn, và Lạc thuỷ nằm trong tỉnh Mường. Sau đó chuyển Mỹ Đức, Lạc Thuỷ về Hà Đông, ngày 24-10-1908, Lạc Thuỷ lại chuyển về Hà Nam. Khi thực dân Pháp tách tỉnh Hưng Hoá thành các tỉnh Sơn La, Phú Thọ và Tuyên Quang thì các châu Thanh Sơn cắt chuyển về Phú Thọ, châu Mộc, châu Yên, châu Phù Yên chuyển về Sơn La. Đến năm 1896, tỉnh Hoà Bình chính thức gồm 4 châu là: Châu Lương Sơn, châu Kỳ Sơn, Châu Lạc Sơn và châu Mai Đà, huyện Lạc Thuỷ lúc này thuộc châu Lạc Sơn, đến tháng 10-1908, huyện Lạc Thuỷ chuyển về tỉnh Hà Nam.
Từ năm 1896, địa giới hành chính Hoà Bình về cơ bản ổn định. Đến ngày 01-5-1953, huyện Lạc Thuỷ cùng một số xã thuộc huyện Nho Quan ( Ninh Bình ) được chuyển về Hoà Bình. Khi cuộc kháng chiến chống thực dân Pháp của dân tộc ta đang trên đà thắng lợi, từ đầu năm 1950, các châu được chuyển thành các huyện và các đơn vị hành chính huyện có sự thay đổi: Huyện Mai Đà tách thành huyện Mai Châu và Đà Bắc ngày 21-9-1956; huyện Lạc Sơn tách thành huyện Lạc Sơn và Tân Lạc ngày 15-10-1957, huyện Lương Sơn tách thành hai huyện Lương Sơn và Kim Bôi ngày 17-4-1959, huyện Lạc Thuỷ tách thành hai huyện Lạc Thuỷ và Yên Thuỷ ngày 17/8/1964. Tại kỳ họp thứ hai Quốc hội khoá V ngày 27-12-1975 đã ra nghị quyết hợp nhất tỉnh Hoà Bình và tỉnh Hà Tây thành tỉnh Hà Sơn Bình. Tỉnh Hà Sơn Bình chính thức đi vào hoạt động từ ngày 01-04-1976. Sau Đại hội toàn quốc lần thứ VII của Đảng (6/1991), với tinh thần đổi mới, thực hiện cương lĩnh xây dựng đất nước trong thời kỳ quá độ lên chủ nghĩa xã hội, tại kỳ họp thứ IX, ngày 12-8-1991, Quốc Hội khoá VIII quyết đinh điều chỉnh địa giới hành chính và chia lai một số tỉnh. Tỉnh Hà Sơn Bình được chia thành 2 tỉnh: Hoà Bình và Hà Tây. Tỉnh Hoà Bình có diện tích tự nhiên 4.6972 km2, dân số 670.000 người, gồm 10 đơn vị hành chính là thị xã Hoà Bình và 9 huyện : Lương Sơn, Kỳ Sơn, Đà Bắc, Mai Châu, Tân Lạc, Lạc Sơn, Kim Bôi, Lạc Thuỷ, Yên Thuỷ. Tỉnh Hoà Bình được tái lập và chính thức đi vào hoạt động từ ngày 01-10-1991, Tỉnh lỵ đặt tại thị xã Hoà Bình.
Căn cứ vào địa bàn và dân cư, thể theo nguyện vọng của cán bộ, đảng viên và nhân dân các dân tộc huyện Kỳ Sơn và tỉnh Hoà Bình, ngày 12-12-2001, Chỉnh phủ nước Cộng Hoà xã hội chủ nghĩa Việt Nam ra Nghị định số 95/2001/NĐ-CP chia huyện Kỳ Sơn thành hai huyện: Kỳ Sơn và Cao Phong. Tới đây Hoà Bình có 11 đơn vị hành chính bao gồm 10 huyện và 01 thị xã. Ngày 27-10-2006, thị xã Hoà Bình trở thành đô thị loại 3 với tên gọi mới là: Thành Phố Hoà Bình.
Năm 2008, Quốc hội ra quyết nghị chuyển toàn bộ diện tích tự nhiên và dân số hiện tại của 4 xã thuộc huyện Lương Sơn, tỉnh Hoà Bình về thành phố Hà Nội, bao gồm: 1.720,36 ha diện tích tự nhiên và dân số hiện tại là 4.495 người của xã Đông Xuân, 3.457,74 ha diện tích tự nhiên và dân số hiện tại là 6.606 người của xã Tiến Xuân, 2.073,06 ha diện tích tự nhiên và dân số hiện tại là 5.875 người của xã Yên Bình, 1.532,76 ha diện tích tự nhiên và dân số hiện tại là 3.278 người của xã Yên Trung.
Kể từ ngày đầu thành lập, địa giới hành chính Hoà Bình có nhiều thay đổi, trong 130 năm đó, các huyện, thị cũng có nhiều biến động về địa giới hành chính: