Banneker, figlio di Robert e Mary BANNAKY, nacque nel 1731, vicino al fiume Patapsco situato a circa 16 chilometri da Baltimora. La madre di BANNEKER era una mulatta libera; Suo padre, un africano che ha dovuto comprare la sua libertà per uscire dal suo status di schiavo. Il nonno di BANNEKER era conosciuto come Bannaka; Quindi, sotto quello di Bannaky. Il nome di sua nonna era Molly Walsh. Prima era una domestica in Inghilterra e poi mandata in Maryland, vincolata da un contratto di apprendistato come domestica.
Dopo aver completato i suoi 7 anni di servitù, Molly Walsh ha acquistato una fattoria e 2 schiavi che l'hanno aiutata a gestirla. Ha liberato i suoi due schiavi e ne ha sposato uno: Bannaky.
Hanno avuto diversi bambini tra cui una figlia, Mary. Quando Mary è cresciuta, ha comprato uno schiavo di nome Robert, che in seguito ha sposato; Hanno avuto diversi bambini tra cui Benjamin.