黄山形成于晚新生代第三纪早期，距今大约3000万年。其形成过程分为地质构造和风化剥蚀两个阶段。
地质构造阶段主要是印度板块向北撞击欧亚板块时，黄山所在的华夏造山带以及周边山脉发生强烈的岩浆侵蚀、褶皱变形等过程，形成了黄山区的原始地形。
风化剥蚀阶段则是在受到长期的雨蚀、冰蚀、风蚀等自然力量的作用下，黄山区的原始地形逐渐被削平、侵蚀，形成了黄山五岳、千佛崖、云谷寺等富有特色的天然奇观。
黄山的主体是花岗岩。在距今约1.2亿年前的白垩纪，黄山地区地下岩浆上涌，在离地面7-8千米的深度冷却凝结，形成了一块巨大的花岗岩体，为黄山地貌的形成奠定了基础。黄山花岗岩地貌从地貌类型和形成年代上，可以分为两类。
一种是黄山花岗岩体暴露在地表的初期形成的，那时地壳比较稳定，气候比较温暖，因此形成了地形比较平坦，山坡比较平缓，山峰比较圆润的地貌景观。
第二种是黄山花岗岩体暴露在地表后，地壳拾升加快，河流下切加速，形成了峡谷、高陡边坡的尖峰等新近地貌。