文山较早就有人类居住，建制已有2000多年的历史。公元前111年西汉时期开始置郡县，县名从《易经》的“贲”和“大畜”二卦推演而得，即“取诸贲而得文之源，取大畜而知山之固”，改名文山县。清雍正八年（1730年）正式设立文山县，属开化府。

1949年4月15日成立文山县民主政府，1950年1月7日设立文山县人民政府，2010年12月撤销文山县设立文山市。