1927年初秋，丰子恺的恩师弘一法师来到上海，住在他家里。丰子恺就要求恩师为他的寓所起名，弘一法师让他在小方纸上写上许多他喜欢而又能互相搭配的文字，团成许多小纸球，撒在释迦牟尼画像前的供桌上抓阄。
结果丰子恺两次都抓到了“缘”字，于是就取名为“缘缘堂”。