潘氏的第一代祖先是 姬季孙。他是周文王姬昌的十五子，也是周武王姬发的胞弟，因灭商有功，与太公望、周公旦、召公奭合称为周初“四圣人”。公元前1046年，周武王灭商后，姬高被派到朝歌释放被商纣王囚禁的百姓，声誉很高，被封在毕地，国人称其为“毕公高”。毕公高的长子名万，是毕姓的始祖；次子名炳，被封在魏地，是魏姓的始祖；三子封在冯地，是冯姓的始祖。而毕公高的第四子季孙，被封在潘地，建立了潘国，其后代便以潘作为姓氏，尊季孙为得姓始祖。