胡斐在《雪山飞狐》中出场的时候，留着一把大胡子，是“满腮虬髯，根根如铁”。在这部书里，金庸没有给出胡斐留须的原因，只是说他外形像父亲，“胡一刀……容貌威严，他生的孩子自也是这般”。
但在一年后写的《飞狐外传》中，金庸似乎给出了胡斐留大胡子的原因，暗示那是因为程灵素。
许多读者包括我在内，读《飞狐》的故事，不自觉地就对程灵素钟爱有加，成了她的娘家人，同时对胡斐怨怼非常，一看到他的㞞样儿就想冒火。每当胡斐不爱小程，嫌她黄、瘦、发育不良、不好看，便很想去抓住他肩膀摇晃：你凭什么？你有什么了不起？你胡斐自己也是黄瘦的，一出场的时候就是个“黄瘦小孩”，你有什么资格嫌弃人？
加之金庸树立的女一号袁紫衣又不甚讨喜，用东北话叫拉胯，更让程灵素显得好。在书中，小程的形象越写越光彩——勇敢、执着、仗义、深情；袁紫衣的形象越来越不得人心——矫情、人设混乱，上一秒还在拼命撩胡斐，与之打情骂俏，下一秒又翻脸说自己四大皆空，宝相庄严。此消彼长之下，人们就更加为小程不值，也就更烦胡斐，觉得他浅薄，不懂珍惜，瞎了眼。
他后来为程灵素的死哭泣、流泪，让读者反而更烦了，总感觉这番哭哭啼啼的做作颇有点假惺惺。伊人已去，似乎胡斐再做什么都无法给程灵素在天之灵以慰藉，也无法给执拗地喜欢程灵素的读者以慰藉。
只除了一件事，就是大胡子。
这是金庸有意留下的温暖一笔——程灵素死去很多年之后，在寒冷的辽东玉笔峰上，胡斐重现江湖。当他猛然转身亮相的一刻，你也许会莫名有了一股暖意，觉得心中的某处伤痛稍稍得到安抚，因为他留着一部大胡子。
胡斐本来是不留胡子的。金庸小说的男主几乎都不留胡子，以保持小白脸的形象。郭靖到了三十多岁才只“上唇微留髭须”，象征性地有一点点胡子。杨过则到三十六岁都不留胡子。
胡斐过去也不留胡子。他第一次“蓄须”纯粹是化装改扮，为了混进敌人的阵营。那天早晨，给他易容的就是程灵素。
程灵素道：“先给你装上胡子，这才放心。”拿起浆硬了的一条条头发，用胶水给他粘在颏下和腮边。
这一番功夫好不费时，直粘了将近一个时辰，眼见红日当窗，方才粘完。
对自己的这个狂暴扮相，胡斐觉得很新鲜有趣，“揽镜一照，不由得哑然失笑，只见自己脸上一部络腮胡子，虬髯戟张……大增威武，心中很是高兴”。
于是他随口说了一句话：
二妹，我这模样儿挺美啊，日后我真的便留上这么一部大胡子。
彼时程灵素想回答说：“只怕你心上人未必答应。”但话到口边终于忍住。她不愿显得自己酸溜溜，也不想让这个美好的早晨变得尴尬。不久之后她便死了，为胡斐吸毒而死。胡斐也真的从此留起了一部络腮胡子。
一部胡子，殊不足道，但这却是胡斐为程灵素做的最能稍稍感动人的事。此前他其实也为程灵素做了许多，其中也不乏决死忘我之举，比如他曾为了救程灵素，冒死出手与敌人相拼，使自己手背上沾了“三大剧毒”，险些送命。其中的情分不可谓不深，但不知为什么，读来就是让人无力感动。小程死后，他的流泪痛悼也都是真的，但也照样让人感动不起来。
可是，十年后的一部胡子，偏偏就让人有点莫名的暖意，让人相信他是在怀念着那个上午，红日当窗，在安静的房间里，她一根根地给他细心粘着胡须。
胡斐遇到程灵素，多数人认为时间晚了一点。就在两人认识前不久，他先遇到了袁紫衣，然后一头扎进去不能自拔了。
但也不妨可以说，胡斐遇到程灵素早了一点。此前他动心的人要么是马春花，成熟艳丽，极能吸引初通人事的懵懂少年，要么是袁紫衣，漂亮能干，和她在一起极有面子，年轻男孩很难躲开这种诱惑。如果等他再晚一些、再成熟一点的时候遇到小程，未必就会完全不喜欢。情场中的酸甜苦辣一路尝下来，他也许会有新的感悟，也许更懂欣赏了，说不定觉得小程更好。可惜程灵素出现得早了，那时胡斐还嫩，欣赏不来，满脑子高大白。
《天龙八部》里，当阿朱死了之后，乔峰实际上就死了，变成了一个躯壳，再没有真正开心过。我大胆地说一句，在程灵素死了之后，胡斐其实也死了，他本人却还意识不到。伊人已逝，伤口固然是会平复的，可有一些东西平复不了。渐渐地，他会发现生命缺了最珍贵的一块，再也不能完整。他会沉浸在长久的失落和忧伤里，就好像一座城市陷入了绵长的雨季。
如果他和程灵素都有自己的门派，他多半会像王重阳和张三丰一样说：我的门人，永远不许和她的门人动手。可是药王谷传承已断，没有传人，他连这种自我安慰的命令都发不了，找不到办法排遣情绪，寄托自己的怀念。于是他想了一个办法，郑重地兑现了一个微不足道的承诺，永远地留了一把大胡子。那是她当初给他设计的样子。