1873(明治6)年、山之上村では修身義校(西洞・西禅寺)と発蒙義校(佐口)が開校し、1884(明治17)年にその二校が合併して、公立山之上学校となった。その後は、1907(明治40)年に山之上村立山之上尋常高等小学校、1941(昭和16)年に加茂郡山之上国民学校、1947(昭和22)年に加茂郡山之上村立山之上小学校となる。その後市制施行に伴い、1954(昭和29)年に美濃加茂市立山之上小学校となった。なお校門前にあるけやきは、1903(明治36)年、現在の場所へ移転した際に金谷地区から植樹されたものである。