Rođen je u Nišu 1942. godine, a svoju prvu kompoziciju "Pusti trotoari" Kovač komponuje već sa četrnaest godina - 1956. godine.
Prvi javni nastup mladi Kovač imao je u subotičkoj gimnaziji, koju je pohađao, na tada popularnim popodnevnim čajankama. Svoju karijeru započeo je 1961. godine. Postao je kompozitor zahvaljujući odličnom muzičkom obrazovanju na Muzičkoj akademiji u Sarajevu.
U 1961. godini, osniva svoj prvi sastav BKB, koji je u to vrijeme postao poštovani jazz trio. Godine 1963. sudjeluju na jugoslavenskom džez festivalu, koji je održan u Bledu u Sloveniji.
Nakon što je bio u nekoliko sastava iz Bosne i Hercegovine, 1966. godine se pridružuje kultnom sarajevskom bendu - Indexima. S njima je bio na dvomjesečnoj turneji u SSSR-u.
Septembra 1968. godine Kornelije se preselio u Beograd gdje je osnovao Korni grupu, koja je 1974. predstavljala SFR Jugoslaviju na Euroviziji. Nakon sedam godina rada tokom kojih je Korni grupa dostigla kultni status u Jugoslaviji, skupina se raspada i Kornelije Kovač počinje pisati za druge izvođače, a posebno za Zdravka Čolića. Dugo je radio i u Velikoj Britaniji i Španiji.
Pisao je muziku za pozorište, filmove i televiziju.