说法，他是个不折不扣的心理变态，以虐杀为乐。
在兄弟三人还是小孩子的时候，耶律阿保机曾暗中观察三人的睡姿，发现老大、老二睡在外侧，为三弟挡风，而耶律李胡则缩头缩脑，躲在两位哥哥身后。耶律阿保机当时就对述律太后说：“是必在诸子下！”这孩子不中用。
又有一次，赶上外面飘着鹅毛大雪，严寒难耐，耶律阿保机命三个儿子外出采薪，借机考验。
考验的结果是：老二耶律德光第一个回来复命，但他不挑不拣，背回来的柴薪鱼龙混杂
老大耶律倍第二个回来，他认真挑拣了柴薪，只要干燥可用的，丢掉湿腐不能用的，而且把柴薪掰得长短相近、粗细相仿，然后码齐、捆绑，卖相极佳，简直就是卖家秀
老三耶律李胡最后一个回来，而且几乎是空手而归，显然是畏惧严寒，根本没有采薪，回来之后，把两手揣在袖筒里，“袖手而立”。
耶律阿保机对三子的评价是：长子巧，次子成，少不及。大概意思就是老大老二各有千秋，均有可圈可点之处，唯独老三不及格！