最早把鲁迅比喻为白象的是林语堂。
1926年7月，在厦门大学任文科主任的林语堂邀请鲁迅到厦门大学教书，9月，鲁迅即南下。1928年12月，林语堂写了一篇文章《鲁迅》：那地方的四周是中国人的公共坟地鲁迅在这种地方实在是一只令人担忧的白象。
林语堂把鲁迅比喻为一只令人担忧的白象，意指非常珍贵，却也很成负累，暗合鲁迅当时在厦门大学的处境。许广平后来解释说，我们在动物园里看到的象大多是灰色的。遇到一头白色的象，就显得珍贵，同时又让人感到特别，特别就会不放心，令人担忧。
白象就是白色的大象，一种稀有的大象品种。古代暹罗国（今泰国）盛产大象，而白色的象非常稀少，被视为珍宝。一般的大象可以用于劳动，但白象只能供养，因此花销很大，即使是一般贵族也养不起。泰国国王对哪个臣下不满，就会赐他一头白象，大臣不得不供养，于是家道很快就衰落了。在英语中，白象（white elephant） 意为昂贵而无用的东西，也可理解为一种难得而又甩不掉的负担。
林语堂把鲁迅比喻为白象，鲁迅显然比较受用，后来大约是给许广平说了，许广平就把鲁迅爱称为小白象。这一称谓始自1929年5月13日的一封书信。
那时，鲁迅和许广平在上海定居，许广平已有孕在身，鲁迅因母亲生病回了一趟北京，前后20多天，其间两人书信往来。在5月13日的第一封书信中，许广平写道：小白象：今天是你头一天自从我们同住后离别的第一次自己则署名小刺猬。鲁迅则在5月15日的回信中以乖姑！小刺猬！称呼许广平，并在信末画了一只鼻子高高举起的小象，呼应着许广平对自己的称呼。小刺猬的出处是鲁迅的一块石刻镇纸，上面镌着一只可爱的小刺猬。
在5月17日的回信中，鲁迅则以小白象借指即将出生的周海婴：午前，我就告知母亲，说八月间，我们要有小白象了。她很高兴，说，我想也应该有了，因为这屋子里，早应该有小孩子走来走去
1929年9月27日，鲁迅和许广平的儿子出生，取名周海婴，意思是在上海出生的婴儿，儿子出生时身体是红色的，所以小名就叫小红象。
据许广平回忆，海婴出生后，为了让许广平得到充分的休息，同时避免香烟的气味熏呛婴儿，鲁迅就从二楼搬到一楼工作，每天夜间12时则上楼进行两小时的值班。孩子一醒，他就赶紧抱起来，一边轻轻地晃动孩子，一边轻轻地哼着自编的催眠曲，由门口至窗前，再由窗前至门口：小红，小象，小红象/小象，红红，小象红/小象，小红，小红象/小红，小象，小红红唱完以后，海婴也睡着了，鲁迅便下楼继续工作。（许广平《欣慰的纪念》）
话接前言，收到鲁迅5月15日发出的画有小白象的信后，许广平于5月20日给鲁迅回信，起首处也画了一只小象的轮廓，并针对鲁迅所画小象说：你的鼻子并未如你所绘的仰起，还是垂下罢。
在同一封书信里，许广平还说：你的乖姑甚乖，这是敢担保的，他的乖处就在听话，小心体谅小白象的心，自己好好保养
这么甜腻的情话起先被收录于《两地书》，但在正式出版时，又都被删除了。
5月21日的信中，鲁迅在结尾时说：小刺猬，你千万好好保养，下回再谈。署名为你的小白象。
至此，鲁迅似乎很习惯使用这一昵称了，5月22日、5月23日的回信均署小白象。
5月25日的信中，鲁迅提及因即告以我在厦门时长虹之流言，及现在你之在上海，惟于那一小白象事，却尚秘而不宣。此处的小白象亦指尚未出生的周海婴。该说的说，不该说的秘而不宣，鲁迅很懂得如何适度地与外人保持距离。
他又给许广平写了三段话，末尾署曰你的，后面画了一只鼻子下垂，似乎卧倒在地、准备休息的小象。
5月27日的信末继续署你的小白象。
5月29日，鲁迅在上午、晚上各写一封信，信末均画了一只神态略有区别的小白象。
5月30日下午5点，鲁迅准备返回上海，他在信中说：总之，我当择最稳当而舒服的走法，决不冒险，使我的小莲蓬担心的。现在精神也很好，千万放心，我决不肯将小刺猬的小白象，独在北平而有一点损失，使小刺猬心疼。末尾署你的，后面画着一只似乎一脚抬起的小象。
5月30日夜一点半（从书信的编排顺序看，似应为5月31日凌晨一点半），鲁迅在信中以小小白象指代尚未出生的周海婴：这两星期以来，我一点也不颓唐，但此刻遥想小刺猬之采办布帛之类，豫〔预〕为小小白象经营，实是乖得可怜
5月31日夜，鲁迅晚上9点入睡，一觉醒来，此刻已是三点钟了。冲了一碗茶，坐在桌前，给许广平写了一段话，信末画了一只鼻子下垂、身躯卧倒的小象。这是6月1日黎明前的3点。
写了以上的几行信以后，又写了几封给人的回信，天也亮起来了于是，鲁迅又给许广平写了此行返北平探亲的最后一封信，信中把许广平称作我的有莲子的小莲蓬（有莲子指代怀孕），信末画了一只前足高高立起，呈站姿、拥抱状的小象。
在这一时期与许广平的通信中，鲁迅共画了8只小象，神态各异，或抬头翘鼻，或低头垂鼻，或俯卧休息，或站立拥抱，以契合当时的心情与环境，极其有趣。学者王锡荣在《画者鲁迅》一书中，将其归入鲁迅美术作品的平面设计之部。
《两地书》公开出版时，鲁迅对私人化的一些表述做了修改。据蒋锡金先生撰述，1939年至1941年间，他在上海曾向许广平问过EL（英文象elephant的前两个字母大写）和ELEF（德文象elefant的前四个字母大写）的含义，许广平说，这个称号是林语堂在北京时送给鲁迅的。
蒋锡金讲述了泰国国王给不满意的大臣赠送白象而使其家道中落的典故。当然我没有把这个典故讲给许先生听，因为她是把这作为好称呼来理解的。
林语堂称呼鲁迅为白象时，两人关系还很亲密，所以林氏并无讥讽鲁迅的必要和可能。鲁迅欣赏宽厚的性格和坚韧的精神，很喜欢爱人许广平称他为小白象，且以象自喻。据《柔石日记》记述：鲁迅先生说，人应该学一只象。第一，皮要厚，流点血，刺激一 下了，也不要紧。第二，我们强韧地慢慢地走去。我很感谢他的话，因为我的神经末梢是太灵动得像一条金鱼了。这条材料也为后人理解鲁迅的大象情结提供了一些线索。
