1858年，两广地区的教务由澳门教区独立出来，交由巴黎外方传教会接管，成立粤桂监牧区，该会法籍会士明稽章（Bishop Philippe François Zéphirin Guillemin）获教廷委任为首任宗座监牧。明稽章本人早于1848年10月来粤传教，当时他已有要在广州建立一间大教堂的设想。咸丰一年（1851年）在当时的两广部堂旁边购置房产，并建立了一间小教堂。咸丰三年（1853年）开始与广东地方当局谈判建造教堂的有关事宜，但当时的谈判并不顺利。其后第二次鸦片战争爆发，英法联军攻陷广州城，新城内靠近珠江的两广总督部堂被摧毁，当时的两广总督叶名琛被俘。
战后明稽章依据清廷所签的《北京条约》中第六款“传教士可在各省租买田地建造天主教堂”的规定，要求广东地方当局归还以前被充公的教堂屋宇，用作新教堂的用地。广州当局最初提议了几块城外的土地，被明稽章拒绝，他以原来的教堂位于城内为由，要求以城内的土地作为补偿。最终在当时驻扎广州的法国海军总兵Coupvent des Bois的军事支持下，逼使两广总督劳崇光于1861年1月25日签订合约，将两广总督行署基址，永租给巴黎外方传教会兴建天主堂，面积为42亩6分6釐，每亩租金为1500文钱，1863年3月又再增租地17亩6分9厘。自此以教堂为中心，在北至大新路，南至卖麻街，东至白米巷，西至玉子巷的广阔区域，逐步建立起孤儿院、育婴院、圣心书院、明德女子中学、日新小学、圣方济各小修院和中华无原罪圣母女修会等等附属设施，形成教徒群集区和华南的天主教传教中心。
明稽章在1858年回法国觐见法皇拿破仑三世，他陈述英美两国在广州的势力发展，引起拿破仑三世对法国在广州的影响力逊色于他国的忧虑，明稽章借势建言利用建立教堂和传教来扩大法国在华的影响力，以弥补贸易上的劣势，最终拿破仑三世许诺个人资助三十万法郎，同时也容许明稽章向法国的天主教徒募集捐款。而在教堂工程展开之后，明稽章透过巧妙的运作手段，使得法国政府同意增加拨款二十五万法郎，其中七万五千法郎的余款在法兰西第二帝国倒台后，在1873年5月经法国议会以491票赞成、100票反对投票通过，拨付予法国外交部用于教堂的建设。
教堂的地基部分在1861年6月28日耶稣圣心节当日开工，1863年完成，同年12月8日的圣母无原罪日举行盛大的奠基仪式，周边的街道被装饰一新，也吸引了大批民众围观。两广总督乘坐八人大轿到场，一众文官、约300名八旗官兵，传教士和约20名神父，以及欧洲各国所有的驻粤领事和高级官员也一同出席。在奠基仪式上，当时的法国驻广州领事李天嘉男爵（Baron Gilbert de Trenqualye）和明稽章主教分别致辞。取自耶路撒冷的一块石头和取自罗马的一千克泥土被放置于两块奠基石之下，以示基督教创立于东方之耶路撒冷，而兴起于西方之罗马之意，两块奠基石上分别刻有“Jerusalem 1863”和“Roma 1863”的字样。
教堂的建造遭遇不少阻力，除了兴建教堂及附属的建筑需要征用大量的民房土地以外，在历经两次鸦片战争之后，广州的民众普遍排斥和敌视洋人。教堂的建设在1869年被迫中断，因当时的两广总督禁止采石，而民间涌动的排外情绪也渐趋炽热，面对这种局面，主教明稽章直接与北京的朝廷官员进行交涉，令问题得以解决。不过，尽管从构思建堂到筹集款项，再到监督建设，明稽章是教堂计划得以实现的关键人物，但他本人却无缘得见教堂的完工。明稽章在1879年9月被教廷召回，此后未能重返中国，于1886年，即教堂建成前的两年，以72岁的高龄在巴黎病逝。石室教堂在接任主教邵斯（Bishop Augustin Chausse）的主持下建造完成。
