張公山系涂山山脈，涂山一帶曾是原始社會后期涂山氏居住的地方。涂山腳下的禹會村，傳說是當年治水英雄大禹會諸侯之地，作為行政村村名屬全國唯一，這里至今流傳著大禹治水三過家門而不入的動人故事。

張公山是歷史文化名山涂山山脈的組成部分，有著悠久的歷史，據《懷遠縣志》記載：明朝嘉靖年間此山就叫張公山，山下一湖，名化陂湖，現更名為張公湖。相傳，明朝有個張姓戰將，解甲歸田，隱居山下，由于他德高望重，當地百姓尊稱張公，張公山因此得名。

清朝，張公山頂建有寺廟，每年還有一次初春廟會。該廟原名“寺山廟”，后改名“中岳廟”，又改為“觀音廟”。由于廟的基礎南高北洼，廟門朝北，當地百姓又稱之為“倒座觀音廟”。

民國27年（1938年）日軍侵占蚌埠后，寺山廟遭到徹底毀壞。

1973年，蚌埠市政府決定利用張公山與化陂湖的自然風景和優美環境，將此山辟為公園，1975年建園工程全面開工。1983年7月1日，張公山公園正式對外開放。

          從1986年以來，張公山公園各項基礎設施和景點建設日益完善。先后建成了湖濱餐廳、水榭長廊、園中園、望淮塔、兒童樂園、月季園、動物園等。

2009年被國家旅游局授予國家AAAA級風景區稱號。

2012年，經蚌埠市政府會議研究，由城投公司承擔資金保障工作對張公山景區進行提升改造。