Oinarrizko ikasketak Errenterian egin ondoren, fabrika batean hasi zen bulego lanetan hamabost urterekin.
Euzko Alderdi Jeltzaleko kide gisa Espainiako Gerra Zibila egin ondoren, Santoñan atxilotu egin zuten 1937ko abuztuan. Lehenengo, heriotza zigorra ezarri zioten, eta, ondoren, 30 urteko espetxe zigorra agintari frankistek.
Zigorra 14 urtera mugatu ondoren, azkenean 1943an presondegitik irten eta Madrilen hasi zen lanean. 1946an berriz atxilotu zuten ekintza antifrankistengatik, eta beste bi urtez egon zen preso, 1948ko apirilera arte.
Espetxean zela, Filosofia-Letretako ikasketak abiatu zituen Madrilgo Unibertsitate Zentralean. Gipuzkoara itzulita, eskola pribatuak eman eta bestelako lanak ere egin zituen. Bere kabuz jarraitu zituen ikasketak, eta 1951n lizentzia lortu zuen Filologia Klasikoan.
1949an Matilde Martinez de Ilarduiarekin ezkondu, eta bi seme-alaba izan zituzten: Itziar eta Rafael.
Euskalerriaren Adiskideen Elkartearekin lanean aritzeaz gain, 1954an Gipuzkoako Probintzia Diputazioaren “Julio Urkixo” Euskal Filologia Mintegiko zuzendari tekniko izendatu zuten. Antonio Tovar urgazlearen bidez, orobat, 1958tik Salamancako Unibertsitateko Manuel de Larramendi euskara katedraren arduradun izan zen.
Filosofia-Letretako doktoregoa lortu zuen Madrilgo Unibertsitate Zentralean Fonética histórica vasca (1960) tesiarekin, Jose Vallejoren zuzendaritzapean.
1963-1964 ikasturtean Nafarroako Unibertsitateko Euskal Hizkuntza eta Kulturako katedran eskolak eman ondoren, 1965ean Bigarren Hezkuntzako latin katedradun izendatu zuten.
Ikasturte batez Torrelavegako Institutuan egon ondoren, Donostiako Peñaflorida Institutura aldatu zen 1966an, eta hurrengo urtean Indoeuropar Hizkuntzalaritzako katedra berria eskuratu zuen Salamancako Unibertsitatean.
Besteak beste, 1969-1970 ikasturtean Sorbonako Unibertsitateko irakasle laguntzaile izan zen. 1970ean, halaber, Salamancako Unibertsitateko Argitalpen Idazkaritzako zuzendari izendatu zuten.
1977an Arabako Foru Diputazioak Arabar Unibertsitate Ikastetxea sortu zuen, eta han Euskal Filologiako ikasketak hasi zen prestatzen.
1979-1980 ikasturtean Euskal Herriko Unibertsitatean hasi zen lanean, Euskal eta Indoeuropar Hizkuntzalaritzako katedradun eta Arabako campuseko errektoreorde gisa.
Gasteizko Filologia Fakultatean eskolak eman zituen, 1984an erretiroa hartu arte. 1985ean EHUko lehendabiziko katedradun emeritu izendatu zuten.
Hainbat erakunde eta elkarteko kide izan zen: Société de Linguistique de Paris (1956), Real Academia Españolako laguntzaile (1963), Linguistic Society of America, Sociedad Española de Lingüística (1970) edo Eusko Jaurlaritzaren Euskararen Aholku Batzordea (1982).
Euskaltzaindiari dagokionez, 1954an Resurreccion Maria Azkue euskaltzainburuaren lexikografia lana osatu eta gaurkotzeko eginkizuna hartu zuen, gerora Orotariko Euskal Hiztegia bilakatuko zena.
1963an Akademiako idazkari izendatu zuten, Jose Maria Lojendio buru aukeratzearekin batera. Euskaltzaindiak VII. Biltzarra (Arantzazu, 1968) antolatu zuenean, hura izan zen txosten nagusien egilea, hala nola, ortografiarena. Ordutik aurrera euskara batuaren arautzearen gidari nagusia izan zen.
1978an Iker sailburu izendatu zuten, eta haren ardurapean argitaratu ziren urtetako egitasmo garrantzitsuak, gramatikaren, onomastikaren edo hiztegigintzaren alorretan: Euskal aditz batua (1979), Euskal Herriko udalen izendegia (1979) edo Orotariko Euskal Hiztegia (1987-2005), besteak beste.
Euskalerriaren Adiskideen Elkartearen Egan (1953) eta “Julio Urkixo” Euskal Filologia Mintegiaren ASJU (1967) aldizkarietako zuzendarikide izateaz gain, BRSBAP, Revista Española de Lingüística, Fontes Linguae Vasconum edo Muga aldizkarietako batzordekide izan zen. Artikulu asko argitaratu zituen beste hainbat aldizkaritan ere: Anaitasuna, Archivo Español de Arqueología, Archivum, Bulletin de la Société de Linguistique, Cahiers d'Histoire Mondiale, Deia, Emerita, Estudios de Deusto, Gasteiz, Jakin, Letras de Deusto, Lingua e Stile, Munibe, Pirineos, Príncipe de Viana, Revista de Dialectología y Tradiciones Populares, Revista de Filología Española, Revista de Occidente, RIEV, Triunfo, Via Domitia, Word, Zephyrus edo Zeruko Argia.
2011n Joseba Lakarra euskaltzainak eta Iñigo Ruiz Arzalluzek haren idazlan guztiak argitaratu zituzten hamabost liburukitan.
Hainbat izendapen, omenaldi eta sari jaso zituen: Eusko Ikaskuntzaren IX. Biltzarreko sarrera hitzaldia (Bilbo, 1983); doctor honoris causa Bordele III Unibertsitatean (1982) eta Bartzelonako Unibertsitatean (1982); Hanburgoko FVS Fundazioaren Ossian saria (1983); Espainiako Gobernuaren Alfontso X. Jakintsuaren Gurutze Handia (1983); Burgosko espetxeko lagunen omenaldia (Abadiño, 1983); EHUren Symbolae Ludovico Mitxelena septuagenario oblatae (1985) eta Gipuzkoako Foru Aldundiaren Memoriae L. Mitxelena magistri sacrum (1991) liburuak; Espainiako Ramon Menendez Pidal ikerketa saria (1984); Gasteizko Udalaren Urrezko Domina (1984); Eusko Jaurlaritzako Euskal Letren Merezimenduzko saria (1986) edo Errenteriako Udalaren seme kutun (1988).
Bestalde, haren izena daramate Gipuzkoako Foru Aldundiaren Koldo Mitxelena Kulturuneak (1989), EHUko Arabako Campuseko Bibliotekak nahiz Koldo Mitxelena Katedrak (1997), hala Gasteizko nola Errenteriako Bigarren Hezkuntzako institutuek. Hil ondoren, Egan aldizkariak zenbaki monografikoa (1987) eskaini zion; geroztik, zenbait tesiren aztergai izan da, hala nola, Elixabete Perez Gazteluren Koldo Mitxelena Elissalt, egitasmoa eta egitea (1995) edo Agurtzane Azpeitiaren Koldo Mitxelenaren zinema- eta liburu-kritiketako diskurtso-estrategiak (2012).
Familiak Koldo Mitxelenaren artxiboa Donostiako Koldo Mitxelena Kulturuneari eman zion dohaintzan 2012an.
Besteak beste, Euskaltzaindiak, Euskal Herriko Unibertsitateak eta Errenteriako Udalak 2015ean haren jaiotzaren mendeurrena ospatu zuten.
Onomastika
1953, Apellidos vascos, (Biblioteca Vascongada de los Amigos del País).
1955, Apellidos vascos, (2. arg. Biblioteca Vascongada de los Amigos del País).
La Biblioteca y Archivo Azkue está al servicio de Euskaltzaindia. Además, está abierto a todos los investigadores e intenta fomentar la investigación y ayudar en la difusión de los temas culturales vascos, en el marco de sus posibilidades.
