Trải qua nhiều thời kỳ lịch sử, địa danh, địa giới xã Thạch Sơn có nhiều thay đổi. Dưới thời Hùng Vương dựng nước, Thạch Sơn thuộc đất của Bộ Văn Lang - Bộ trung tâm của nước Văn Lang. Trong thời kỳ phong kiến Việt Nam, dưới các triều đại: Đinh, Lý, Trần, Lê, Nguyễn xã Thạch Sơn nằm trong huyện Sơn Vi.
Năm 1919, huyện Sơn Vi đổi thành huyện Lâm Thao, xã Thạch Sơn thuộc tổng Chu Hóa" - huyện Lâm Thao - tỉnh Phú Thọ. Thạch Sơn lúc này có 8 xóm (6 xóm trong làng và 2 xóm ngoài bãi): Xóm Trầm, xóm Xộp, xóm Chùa, xóm Trước, xóm Đầm, xóm Rổ, xóm Đồng Vườn, xóm Bãi sông Hồng. Các xóm hầu hết đều có cổng xây bằng đá ong, xung quanh trồng tre bao bọc. Sau khi cách mạng Tháng Tám thành công, năm 1946, Nhà nước Việt Nam Dân chủ Cộng hoà điều chỉnh phạm vị địa giới hành chính một số địa phương, trong đó có các xã của huyện Lâm Thao. Riêng Thạch Sơn, Thanh Đình, Chu Hóa, Vi Cường, Hậu Lộc, Khang Phụ hợp nhất lại gọi là xã Cao Thắng.
Do phạm vi của xã rộng, sự lãnh đạo, chỉ đạo gặp nhiều khó khăn; theo đề nghị của chính quyền địa phương, tháng 2 năm 1948, xã Cao Thắng có sự điều chỉnh lại: thôn Thanh Đình tách ra khỏi xã Cao Thắng chuyển về xã Sơn Vi, xã Cao Thắng lúc này còn lại 2 thôn: Thạch Sơn và Chu Hóa. Sau hòa bình lập lại, năm 1954, xã Cao Thắng được tách làm 2 xã: Chu Hóa và Thạch Sơn.
Đầu năm 1968, hai tỉnh Vĩnh Phúc và Phú Thọ sáp nhập thành tỉnh Vĩnh Phú. Xã Thạch Sơn thuộc huyện Lâm Thao - tỉnh Vĩnh Phú. Ngày 5 tháng 7 năm 1977, Hội đồng Chính phủ ra quyết định hợp nhất hai huyện Phù Ninh và Lâm Thao thành huyện Phong Châu, xã Thạch Sơn thuộc huyện Phong Châu - tỉnh Vĩnh Phú. Ngày 26 tháng 11 năm 1996, theo Nghị quyết kỳ họp thứ 10 Quốc hội khoá IX, tỉnh Vĩnh Phú chia thành 2 tỉnh là Vĩnh Phúc và Phú Thọ, xã Thạch Sơn thuộc huyện Phong Châu - tỉnh Phú Thọ.
Thực hiện Nghị định 59 - NĐ/CP ngày 24/7/1999 của Chính phủ, huyện Phong Châu chia thành 2 huyện: Lâm Thao và Phù Ninh, xã Thạch Sơn thuộc huyện Lâm Thao - tỉnh Phú Thọ.
Xã Thạch Sơn nằm trên gò đất cao, xung quanh là vùng đất trũng, gồm ruộng và ao hồ. Đất ở đây có nhiều sỏi nhỏ, vì thế người ta còn gọi là làng Sỏi. Đất đai bạc màu, chỉ thích hợp với các loại cây công nghiệp.