Floro di schiavi americani, McCoy nasce come libero cittadino nella provincia dell'Ontario. Molto rapidamente mostra disponibilità per i meccanici, assemblando ad esempio le parti di una macchina che aveva precedentemente smontato. I suoi genitori lo mandarono in Scozia dove ricevette una formazione in ingegneria, e tornò nel Michigan negli Stati Uniti dopo l'abolizione della schiavitù.
Incapace di trovare un lavoro coerente con la sua formazione, accetta di fare il pompiere lubrificatore in una compagnia ferroviaria. A quel tempo i treni dovevano rallentare molto spesso durante il viaggio in modo che un addetto che camminava a fianco lubrificasse gli assi e le ruote metalliche. Questo ha perso tempo e ha causato la morte dei dipendenti. PPer risolvere questi problemi, McCoy ha inventato la coppa di lubrificazione, un sistema di lubrificazione automatico che versa costantemente lubrificante durante la corsa ed elimina i ritardi e mette in pericolo la vita dei dipendenti. La sua invenzione ebbe successo in tutto il paese e, nonostante le imitazioni, le compagnie ferroviarie pretendevano tutte il vero McCoy (il vero McCoy), una garanzia di qualità.