徐家匯天主教堂是鴉片戰(zhàn)爭后上海第一座天主教堂。19世紀末，徐光啟墓附近地區(qū)是上海天主教中心，1906年教會建新堂，1910年完成，即后來的徐家匯天主教堂，是中國第一座按西方建筑風格建造的教堂。清道光二十一年(1841年)鴉片戰(zhàn)爭后，曾遭羅馬教廷下令解散的耶穌會已恢復，其會士重來江南，5年后在徐家匯建立會所，咸豐元年(1851年)建造教堂，為中國第一座西方建筑式樣的教堂，為徐家匯舊天主堂，奉“圣依納爵”為主保。宣統(tǒng)二年新大堂建成后奉圣依納爵為主保，稱“圣依納爵堂”，舊堂改奉“無原罪始胎圣母”為主保，稱無原罪始胎堂。

       該堂教徒人數(shù)建堂時為100余人，光緒二十七年1700人，民國31年(1942年)7000人，1951年8400人，1998年10350人。

       徐家匯在天主教歷史上有重要地位。上海天主教的文化出版、科學教育等事業(yè)在此創(chuàng)立和發(fā)展，徐家匯成為上海天主教中心。民國13年，中國天主教“第一次全國主教會議”曾在此舉行。抗日戰(zhàn)爭初期，徐匯大堂、徐匯中學等辦了難民所，收容難民數(shù)以萬計。

       1949年后，上海天主教界開展反帝愛國運動，走獨立自主自辦教會道路。1960年4月，上海市天主教第一屆代表會議選舉張家樹神父為上海教區(qū)正權主教，由皮漱石總主教主禮的祝圣主教儀式就在徐家匯天主堂舉行，從此，該堂成為主  教座堂，并改奉“圣母為天主之母”為主保，稱天主之母堂。 　　    “文化大革命”期間，該堂受到毀壞，鐘樓尖頂被拆毀，整座教堂的彩色玻璃窗被砸碎，并作為上海市果品雜貨公司倉庫。1979年，該堂歸還教區(qū)后，即著手修復，并于當年11月舉行“文化大革命”以后的首次彌撒。1980年圣誕節(jié)前夕大堂修繕一新，張家樹主教主持圣誕節(jié)大禮彌撒，千余教徒恭與彌撒。1982年8月，兩座各重達13噸的十字鐵塔架，重新安裝到鐘樓上。 

      1985年1月，李思德、金魯賢神父任上海教區(qū)助理主教的祝圣儀式在此舉行。1988年2月，張家樹主教去世后，其骨灰安置在該堂。 　　

      改革開放以來，該堂成為對外交往的重要場所，每年均有世界各地天主教人士前來參與宗教活動或參觀訪問，其中有香港胡振中樞機主教、澳門高秉常主教、林家駿主教、菲律賓海梅·辛樞機主教等；英國圣公會坎特伯雷大主教倫西博士、凱瑞博士，南非圣公會主教圖圖博士來滬訪問期間，曾到該堂參觀。 　  1989年9月25日，徐家匯天主堂由市政府公布為上海市文物保護單位優(yōu)秀近代建筑。