Oinarrizko ikasketak Gernikan eta Bilbon egin ondoren, Zuzenbidea ikasi zuen Deustuko Unibertsitatean. Doktoregoa Salamancako Unibertsitatean eskuratu zuen 1905ean.
Emilia Etxeberriarekin ezkondu zen 1913an, eta zortzi seme-alaba izan zituzten: Jesus, Fidel, Aurora, Leona, Begoña, Jose, Agustin eta Jabier. Seme zaharrena, Jesus Oleaga (1914-1998), euskaltzain urgazle izendatu zuten 1965ean.
1906-1922 artean Zeanuriko Udaleko idazkari izan zen. Aldi berean, Bilbon lan egin zuen abokatu gisa Esteban Bilbaoren bulegoan. 1925ean Zeanuritik Bilbora aldatu ziren behin betiko.
Espainiako Bigarren Errepublikan, Eusko Ikaskuntzaren Estatutuaren (1931) idazketan parte hartu zuen. Mallabiko Udalaren ordezkari gisa, halaber, Lizarrako Estatutua (1931) onartu zuen udalen batzarrean parte hartu zuen.
Gerra Zibilean, 1936ko udan, Bizkaiko agintari errepublikanoek baimena eman zioten bi preso politikoren arteko trukean bitartekaritza egiteko: Esteban Bilbao buruzagi karlista eta Ernesto Erkoreka Bilboko alkate errepublikanoa ziren presook.
Euskaltzaindiari dagokionez, 1919an euskaltzain urgazle izendatua izan ondoren, Toponimia batzordeko kide (1920) eta Euskera agerkariaren arduradun (1922) izan zen. Erizkizunde irukoitzaren galdeketan ere parte hartu zuen.
Gerra Zibilaren ondoren, Euskaltzaindia berriro abiatu zen, Bizkaiko Probintzia Diputazioko Kultura Batzordearen baimenarekin. 1941eko urte horretan euskaltzain oso, idazkari eta hiztegigintza batzordeko kide izendatu zuten. Hogei urtez eraman zuen idazkaritzaren ardura, Resurreccion Maria Azkue (1864-1951) eta Ignazio Maria Etxaide (1884-1962) euskaltzainburuekin.
Beste hainbat elkarte eta erakundeko kide izan zen: Eusko Ikaskuntzaren Zuzenbide saila (1918), Bizkaiko Euskeraren Adiskideak (1923), Euskaltzaindiaren Laguntzalleak (1933), Bizkaia Jaurerriko Abokatuen Bazkuneko zuzendaritza (1935-1956), Bizkaiko foru zuzenbidea bildu eta Espainiako Kode Zibilera egokitzeko batzordea (1948) edo Bizkaiko Kultura Batzordea (1953).
Besteak beste, berak itzuli zuen euskarara Casimiro Morcillo Bilboko apezpikuaren izendapena Boletín oficial del Obispado de Bilbaon (1950eko iraila). Sariez den bezainbatean, Bilbo Aurrezki Kutxarena irabazi zuen, Gregorio Muxikaren El espíritu de economía (1922) liburua euskarara itzulita. Euskaltzaindiak, orobat, haren jaiotzaren mendeurrena ospatu zuen Bilbon 1984an.
1923, Zurtasun-gogoa : umeentzat oartxo egokiak / Mujika'tar Gregorio'k egina [itzul.], (Zubiri eta Zarza'ren irarkola).
Euskera agerkarian
1957, "Azkue-ren gorazarrez egindako hitzaldiak : Oleaga jaunarena". PDF