曼德拉是腾布王朝非长子家族的一员，他的曾祖父努班库卡以国王之姿统治着当地的居民。因此，曼德拉长大后，一直对王室身份感到颇为自豪。

曼德拉的父亲恩科西·穆帕卡尼斯瓦·格达拉·曼德拉（以下称“老曼德拉”）是当地的一位酋长，在第一次世界大战期间曾参加南非军队在非洲西南部和德国人作战。他高大威严，办事干练，在王国内很有威望。按照当地的传统，男子可以凭借家业娶多个妻子，而其家业的多寡以其拥有的牛的数量来判断。作为酋长，老曼德拉有4个妻子，曼德拉的母亲诺塞克尼·法妮是他的第3个妻子。

老曼德拉和自己的妻妾共生了13个孩子，4男9女。曼德拉是父亲4个儿子中最小的一个。尽管曼德拉有3个哥哥，但是在他出生以前，3个哥哥都已夭折，所以曼德拉就成了唯一的酋长继承人。

曼德拉回忆说：“我父亲有着高高的个子、黑黑的皮肤，为人正直，姿态严肃。我认为自己继承了他的这些特点。他有一头盖在额头以上的簇状白发，孩提时代，我往往弄一些白灰搓在头发上去模仿他。父亲很严厉，对孩子从不娇生惯养。他意志坚强，这也是他传给儿子的又一个特点。”

曼德拉出生后，父亲给他取名为“豪利沙沙”，这个名字在科萨语中是爱惹事、不安分的意思。南非人认为，每个人的名字里面都有一种神秘的力量。对于这个名字，曼德拉说：“我不相信名字决定命运，也不相信我父亲预测了我的未来；但后来，我的亲戚朋友在回顾我发起的一系列政治运动和我所经历的风风雨雨的时候，都说是我的这个名字造成了这一切。”

大约在曼德拉三四岁的时候，一名部落成员因丢失一头公牛而状告老曼德拉。当地的白人法官传唤老曼德拉出庭答辩，但性格刚烈的老曼德拉只回了一封信，信中这样写道：“我不去，我会一直战斗下去！”

这显然惹怒了白人政府，老曼德拉因“顶撞英国行政长官”的罪名而被褫夺了酋长的职位，还被剥夺了大部分的家产和土地。老曼德拉拒不承认白人对这一区域的管辖权，他以科萨人的传统法律判断，处理这场纠纷是他的职责范围之内的事情。虽然由此失去了大部分的土地和牲畜，但是，父亲的行为对幼年的曼德拉产生了潜移默化的影响。用曼德拉的话说，父亲是在维护作为首领的传统权力和公正，值得人们尊重和学习。