刘贺的祖父是雄才大略的汉武帝刘彻。他的祖母就是汉武帝特别宠爱的中山(今河北定州)美女李夫人。史载李夫人“妙丽善舞”，曾被其兄音乐家李延年称为倾国倾城的“佳人”——“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。”(《汉书》卷九七上《外戚传上》，北京：中华书局1962年版，第3951页)故虽然“父母及身兄弟及女，皆故倡也”(《史记》卷一二五《佞幸列传》，北京：中华书局1959年版，第3195页)，却依然受到武帝的宠爱，并生下刘贺的父亲昌邑王刘髆。除了官任协律都尉的李延年，李夫人还有两个兄弟和姐妹。其中长兄李广利，就是历史上赫赫有名的贰师将军，曾两次率军攻打大宛，夺得数千匹汗血马而归，被武帝封为海西侯。但他率领七万骑攻打匈奴失败，且与同乡和亲家丞相刘屈氂谋立外甥刘髆为太子事发，最后投降匈奴被灭族。而弟弟李季则可能因为年龄尚小，没有留下做官的记录。在李夫人死后，李季亦因为“奸乱后宫，广利降匈奴”(《汉书》卷九七上《外戚传上》，第3956页)，和次兄李延年一起被武帝灭族——“久之，延年弟季与中人乱，出入骄恣。及李夫人卒后，其爱弛，上遂诛延年兄弟宗族。”(《汉书》卷九三《佞幸传》，第3726页)李夫人的姐妹估计也受到了牵连。
稽诸史乘，刘髆有五个异母兄弟和众多姐妹。其中长兄刘据，亦称卫太子，母亲为卫皇后，七岁时被立为太子，后因巫蛊之祸而起兵，战败自杀，被谥为“戾太子”，是刘贺的大伯父。刘据共有三子一女，“及太子败，皆同时遇害”(《汉书》卷六三《武五子传》，第2747页)。其长子刘进，亦名“史皇孙”，乃是宣帝刘询的父亲，也是刘贺的从兄。刘髆二兄齐王刘闳，母亲为王夫人;三兄燕王刘旦、四兄广陵王刘胥，母亲为李姬;三人在元狩六年(公元前117年)四月乙巳被同日封王。刘闳在位八年，“年少，无有子，立，不幸早死，国绝”(《史记》卷六〇《三王世家》褚先生曰，第2115页)。
刘旦因参与上官桀、桑弘羊等人“谋反”最终自杀，被谥为“剌王”，史称“燕王之变”(参见拙著《桑弘羊评传》，南京：南京大学出版社2005年版，第248—260页)。“旦立三十八年而诛，国除。”“宣帝即位，封旦两子，庆为新昌侯，贤为安定侯，又立故太子建，是为广阳顷王。”则刘旦共有三个儿子被史书记录，他们也都是刘贺的从兄。而刘胥亦因使女须“祝诅”昭帝与宣帝被治罪，自缢而死，被谥为“厉王”。“立六十四年而诛，国除。”(以上皆见《汉书》卷六三《武五子传》，第2759、2762页)
根据《史记》卷六〇《三王世家》和《汉书》卷六三《武五子传》，并参证《汉书》卷一五下《王子侯表下》，可知刘胥至少有六个儿子和三个女儿，即太子刘霸、朝阳侯刘圣、平曲侯刘曾、南利侯刘宝(后因杀人被夺爵)、南利侯刘昌、少子高密王刘弘、楚王刘延寿王后“弟妇”、刘董訾和刘胡生。他(她)们也都是刘贺的从兄弟和从姐妹。刘髆还有一个六弟——刘弗陵，亦即昭帝，母亲为赵婕妤，无子。至于刘髆的异母姐妹，见诸记载的则有卫长公主(亦称当利公主)、鄂邑盖长公主(按：汉制，皇帝姐妹称“长公主”，其封邑称“汤沐邑”。鄂邑盖长公主，乃昭帝姐姐，因汤沐邑封鄂邑，又嫁给盖侯王充为妻，故名)、诸邑公主、石邑公主、阳石公主和夷安公主，她们都是刘贺的姑妈。
从血缘关系说，姑且不论汉武帝的兄弟姐妹和其他旁系，刘贺共有着四个伯父、一个叔父和许多姑妈，也有着众多从兄弟和从姐妹。但就政治背景而言，刘贺却可谓势单力孤。根据《汉书》卷九七上《外戚传上》，“延年有女弟，上乃召见之，实妙丽善舞。由是得幸，生一男，是为昌邑哀王。李夫人少而蚤卒，上怜闵焉，图画其形于甘泉宫”(《汉书》卷九七上《外戚传上》，第3951页)。可证刘贺的父亲没有同胞兄弟，很可能也没有同胞姐妹。
刘贺也没有同胞兄弟和异母兄弟。汉武帝元朔二年(公元前127年)即开始推行令诸侯王分封余子为列侯的推恩令政策，所谓“至于孝武，以诸侯王畺土过制，或替差失轨，而子弟为匹夫，轻重不想准，于是制诏御史：‘诸侯王或欲推私恩分子弟邑者，令各条上，朕且临定其号名。’自是支庶毕侯矣”(《汉书》卷一五上《王子侯表上》，第427页)。故如果刘贺有同胞兄弟或异母兄弟，按推恩令的规定即应当被封为列侯，或在刘贺被废后继任为王，但史书上却没有相关记录。如《汉书》卷六三《武五子传》：“王(刘贺)受皇帝玺绶，袭尊号。即位二十七日，行淫乱。大将军光与群臣议，白孝昭皇后，废贺归故国，赐汤沐邑二千户，故王家财物皆与贺。及哀王女四人各赐汤沐邑千户。”(《汉书》卷六三《武五子传》，第2765页。按：《汉书》卷六八《霍光传》亦记载太后诏“赐汤沐邑二千户”(第2946页)，而《汉书》卷一四《诸侯王表》则记载“予邑三千户”(第420页)，“三”当为“二”之误)可见刘贺亦确为刘髆独子，而仅有四个姐妹(很可能是异母姐妹)。
就刘贺的外戚而言，由于被两次灭族，刘髆的母家李氏业已荡然无存。刘贺的母亲更是连名字和传闻都没有记录，可见她并非昌邑王后，而可能是刘髆的一位王姬(《汉书》卷六三《武五子传》，第2768页：“昌邑哀王歌舞者张修等十人，无子，又非姬，但良人，无官名，王薨当罢归。”可证)，其家庭也应该没有什么背景。所以在昭帝突然病死后，霍光才会把势单力孤的刘贺作为皇帝的理想人选，以确保自己的专权。但是刘贺却年轻气盛，也缺乏政治经验，很快便显露出夺权迹象，最终被霍光废黜，而酿成个人及其家庭的悲剧。
