霍英东原籍广东省番禺县，1923年5月10日，出生于香港一个水上人家。祖父霍达潮，曾拥有大风帆船，来往于省港澳之间，从事货运生意。但当霍英东来到这个世界上的时候，家境已相当困难，全靠父亲租船驳运货物维持生活，入息不多，生活艰辛，他们全家穷得连鞋都穿不上，无论寒冬酷暑，都是赤脚行走。有一次过旧历年，他父亲第一次穿双新鞋上街，在小摊档把鞋脱了，蹲在凳上吃粉，吃完双脚落地便走。回到船上，才发现竟然没有把鞋穿回来，因为向来没有穿鞋的习惯。
那时没有天气预报，水上人家生命毫无保障。霍英东的两个哥哥就在一次台风中沉船丧生，一个5岁，一个7岁。他的母亲幸被叔父救起，但不久他的叔父也在风浪中翻船淹死。大约是在霍英东7岁那年，父亲患病不幸去世，年仅40多岁。因为染病时间很长，天天用中草药治疗，把本来就很有限的一点钱都花光了，死后只草草地埋在青衣岛上。
父亲去世以后，霍英东一家生活更加困难了。那时，他还有一个9岁的姐姐，一个5岁的妹妹，生活的重担全落在他母亲身上。
母亲是一位顽强、刻苦、勤奋的人，在那多灾多难的日子里，她没有被生活的重压折服，而是挺直腰杆，辛苦操劳，把丈夫遗留下来的驳运生意继续经营下去。这驳运生意就是与外海的货轮接洽，代它们把货物用小舢舨运到岸上来。当时接运的主要货物是煤炭。霍家自己没有驳船，从轮船货主那儿把生意接下来，然后分给舢舨客驳运，从中赚取微薄的佣金。因为霍英东父亲在世时人缘很好，母亲又豁达得体，多数的货主和舢舨客都颇为同情这一家孤儿寡母，日子倒也还能勉强维持下去。
霍英东的母亲虽然自己目不识丁，但希望自己的儿女知书识墨。大约在霍英东6岁那年，便由别人背着去拜师启蒙。接着在帆船同业义学就读，那是免费的，他家住在船上，随处漂泊，上课很不正常，有时放学后连船也不易寻找。到第三班时，转入敦梅小学。这间小学是要收费的，其中有一个免费班，但仅招收30人。学生要作一篇文章应考，霍英东还是考上了，而且在录取的名字中，第一个便是他。后来，他又转读皇仁书院。书院的学制是倒过来从第八班开始的，相当于初中一年级。那时，书院的第八班，共招三个班，每班30人，但大多数是经过老师、家长及各种关系介绍入学的，真正通过考试录取的不足10人。应考时也要求作一篇文章，霍英东也是第一个被录取了。
