Heavy metal termin alkuperä musiikillisessä mielessä on epävarma. Kukaan ei oikein osaa sanoa varsinaista alkuperää missä vaiheessa termiä ruvettiin käyttämään kuvailemaan musiikkityyliä. William S. Burroughs käytti kirjoissaan termiä “heavy metal people of Uranus” ja “The Insect People of Miraud with meta
l music”. Vuonna 1967 Hapshash and the Coloured Coat -ryhmä käytti ensimmäistä kertaa termiä heavy metal julkaisunsa nimessä. Ensimmäistä kertaa termi heavy metal mainitaan laulun sanoissa Steppenwolfin kappaleessa “Born to Be Wild”, joka julkaistiin vuonna 1968.
Ensimmäinen kirjallisesti dokumentoitu kerta, kun termiä heavy metal käytettiin kirjallisessa julkaisussa on myös vuodelta 1968. Barry Gifford käytti termiä levyarvostelussaan. Vuonna 1970 Led Zeppelinin levyarvostelussa käytettiin myös termiä heavy, kun yhtyeen musiikkia kuvailtiin. Myöhemmin samalla vuosikymmenellä arvostelija käyttivät termiä heavy metal lähinnä halventavassa mielessä. Suurin osa arvostelijoista oli sitä mieltä, että heavy metal musiikki oli huumepäissään soitettua musiikkia vain yksinkertaisille valkoisille miehille.
1970-luvulla myös termin hard rock ja heavy metal välillä ei ollut paljon eroa. Heavy metal bändejä kutsuttiin hard rockiksi ja päinvastoin. Tämä oli siihen aikaan normaali käytäntö, nykyään tyylisuuntien eroa pidetään kuitenkin selkeänä.