กล่าวกันว่าในปี 594 พระชิชุนโชนินแห่งแคว้นชินาโนะได้เดินทางมายังภูเขาทาบุชิซังในเมืองอิซูโมะ เพื่อสวดขอพรต่อน้ำตกฮุโรให้จักรพรรดินีซุอิโกะหายป่วยจากโรคตา วัดกาคุเอนจิเป็นวัดที่ถูกสร้างขึ้นเพื่อแสดงความขอบคุณที่คำอธิษฐานดังกล่าวสัมฤทธิผล
สำหรับที่มาของชื่อวัดกาคุเอนจิ (หรือชื่อในความหมายภาษาญี่ปุ่นคือวัดร่องน้ำจระเข้) มีตำนานเล่าขานว่าในขณะที่พระชิชุนโชนินกำลังบำเพ็ญปฏิบัติธรรมอยู่นั้น จระเข้ได้คาบแท่นบูชาที่ตกลงไปในแอ่งน้ำตกโดยไม่ตั้งใจติดขึ้นมากับเหงือกของตนนั่นเอง