徐汇区位于上海之中心地带，东临黄浦江中段。
上海的浦东和北部宝山一带，由长江和吴淞江交汇冲刷所携带的泥沙淤积于珊瑚礁而形成。但北部的嘉定、中部的闵行、西部的青浦和松江、以及南部的奉贤早在汉朝就已经存在。
东汉时期，海岸线沿着今天的嘉定以东——宝山大场——卢湾——奉贤以东一线。吴淞江为上海境内的最大江河，自太湖向东注入东海，徐汇区区境在当时已初步形成于吴淞江出海口之南岸，东濒东海。
到了唐朝，唐天宝十年（公元751年），正式置华亭县，县治即今松江，这是上海地区设县之始。此时的吴淞江出海口继续向东推进至今陆家嘴一带，而江水携带的泥沙在南岸不断堆积，形成了今长宁区静安区的新陆地，吴淞江已向北偏离徐汇区北部区界。
公元3世纪以前，黄浦江江流很短，较为笔直地向南流动，于杭州湾入海。后几经改道，流向逐渐折向东北，流程也随之延长。到了北宋天圣年间，黄浦江已改道经由今龙华地界向北，再转向东流往上海老城厢，初步勾勒出了今徐汇区的滨江地带。至元朝至顺年间，吴淞江因河道淤积愈发难以通行，大中型船只开始改走江面更宽的黄浦江航行。吴淞江成了今天的苏州河。
北宋时期，以吴淞江为界，以南仍为华亭县，以北归入昆山县，崇明地区属海门县。徐汇区区境受华亭县管辖，直到南宋灭亡。
元至元十四年（公元1277年），华亭县升府，次年改称松江府，仍置华亭县，徐汇区区境继续受华亭县管辖。至元二十九年（公元1282年）松江府下设2县，南部仍为华亭县，北部新设上海县，明末再增设青浦县。徐汇区区境改辖于上海县高昌乡，直至明末。
随着上海地区面积和人口不断膨胀，清朝时期多增县治，清雍正四年（公元1726年），松江府下划设华亭、上海、青浦、娄、奉贤、福泉、金山、南汇8县，清嘉庆十年（公元1805年）废除福泉1县，徐汇区区境仍辖于上海县。
徐汇区发源于徐家汇地区，而徐家汇的形成最早可以追溯到明朝。明朝晚期，中西文化交流的先驱者之一、科学家徐光启于蒲汇塘、肇嘉浜和李漎泾三水汇合之处，建立农庄别业，从事农业实验并著书立说，逝世后即安葬于此，其后裔在此繁衍生息，逐渐在墓地附近形成村落，初名“徐家厍”，后渐成集镇。因其地乃三水汇合之处，又为徐氏家族汇居于此，便在清朝康熙年间得名徐家汇。
清朝宣统二年(1910年)，徐汇区境分属上海县的上海城、法华乡、漕河泾乡。中华民国3年(1914年)，上海法租界扩张，现今肇嘉浜路以北、华山路以东地区划入法租界，其余地区仍属上海县。中华民国16年（1927年），上海特别市设立，中华民国19年（1930年）5月，更名为上海市。徐汇区境分属上海法租界、沪南区、漕泾区、法华区。第二次中日战争战争期间，徐汇区境的非租界区先后分属上海市大道政府南市区、沪西区和第四、七、八区。第二次中日战争结束后，区境分属上海市第七区(常熟区)、第八区(徐家汇区)、第二十六区(龙华区)。中华民国36年（1947年），第七区、第八区、第二十六区更名为常熟区、徐汇区、龙华区。
1956年3月，常熟区并入徐汇区。1964年5月，闵行区撤销，闵行区下辖的闵行地区和吴泾地区并入徐汇区。1981年2月，闵行地区和吴泾地区又恢复为闵行区。1984年9月，上海县龙华镇和漕河泾镇划入徐汇区。1986年2月，上海县虹梅路以东、漕宝路以北、上澳塘港以西、蒲汇塘以南地区划入徐汇区。1992年7月，上海县龙华乡划入徐汇区[2]。
