光孝寺原在西汉武帝时，是南越王赵佗玄孙赵建德的家宅。到了三国时期，东吴名儒虞翻（164－233）由于冒犯孙权而被降官贬谪来到了岭南。后来，虞翻在此聚徒讲学，传授《易经》，把故宅经营一番，时人称之为“虞苑”。虞翻去世后，他的家人便舍宅为寺，名曰“制止寺”。至此，这里便成为佛教道场。
    光孝寺由于是禅宗六祖慧能的发迹处，前又有初祖菩提达摩的到来，使得这座千年名刹在禅宗史上占有特殊地位。