司马迁的时代，经过改造的儒家学说，已经逐渐成为西汉士人知识系统的主干部分。所以尽管“六经皆史”的说法，要晚至清代乾隆时期的章学诚才正式提出，而视六经所载为信史的观念，当时已颇流行。《伯夷列传》一开首强调的，就是学人即使读书再多，总还是要从“六艺”中寻求可信的史料——这里的“六艺”，即通常所说的儒家六经：《诗》、《书》、《易》、《礼》、《乐》、《春秋》。
司马迁从六经里（准确地说，是从虽然已有缺失，但仍保留了相关记载的《诗经》和《尚书》里）拈出的，是上古王位更替传说中的经典故事：唐尧将王位禅让给虞舜，虞舜又禅让给大禹。而这两次禅让的共同点，是虞舜、大禹虽然得到“岳牧”的推荐——所谓“岳牧”，是“四岳”与“九牧”的合称，“四岳”就是分掌四方诸侯的四位大臣，“九牧”则是九州的行政长官——但正式继位前，都经历了一段漫长的试用期。长时间的试用，然后才进行权力移交，司马迁认为，古人以此想要体现的，是天下为贵重之器，继位之王乃至高无上的统领，所以传位的事情才会如此费周折。
但是六经显然不能解答上古史的很多问题。顺着让贤的话题，司马迁提到了著名的隐士许由。说是有一种说法，尧原本曾把天下让给许由，许由却不愿意接这个班，还以接班做帝王为耻，就逃出去做隐士了。这说法的来源，现在已知最早的出处，是《庄子·让王》一篇，但《庄子》里还没有许由“耻之，逃隐”一类的话；出现相关场景而使故事变得更为生动，则要到晋代皇甫谧的《高士传》。《高士传》里派给许由做的最出名的举动，是在据说尧再次邀请他出任九州长时，他因不愿听到这样的消息，而特意跑到隐居地附近的颍水边洗自己的耳朵。若果真如此，那么这许由实在是个很会作秀的家伙。
除了许由，还有据传是生活在夏代的卞随、务光。也是在《庄子》的《让王》篇里，记载着这两位贤者拒绝成汤让出王位的故事。说是成汤伐灭夏桀前，曾经分别和卞随、务光商量具体方案，均遭婉拒。伐桀成功后，成汤又谦虚异常，先是邀请卞随做老大，结果逼得认真的卞随投水自杀；继是恳请务光来接班，结果又让和卞随同样心性的务光背着石头自沉了卢水。这故事和上面的许由洗耳一样的别致，而更显离奇曲折，连司马迁这样喜欢传奇的史家也没有引录，反而怀疑：像许由、卞随、务光这样的事迹，为何不见于六经，而被人广泛传诵呢？
司马迁是位十分重视实地勘察的历史学家，他对于从文献角度发生的对许由故事的疑问，在他亲自登上传说是许由隐居的箕山，发现山上有许由墓时，得到了一定程度的解答；然而他在箕山“有许由冢”句前着一“盖”字，表示无法肯定墓主的真实身份，可见怀疑终究没有解决。甚至接下来他举孔子曾详细称说吴太伯、伯夷一类的古代圣贤的例子，目的也是为了更强烈地重复他的疑问：既然同样是有高尚道义的先贤，有关许由、务光的文字，在儒家典籍里却不能稍微见到一点梗概，这是为什么？
司马迁的疑问，在两千多年后，有学者给予了虽是部分却比较合理的解答。章太炎认为，许由其实就是上古传说系统中的皋陶（也作“咎繇”）。主要理由有两条：一是《汉书·古今人表》中将许由写作“许繇”，其名和咎繇相同；二是《史记·夏本纪》称“封皋陶之后于英、六，或在许”，而古代多以后嗣封邑的地方，上称祖先姓氏，所以因子姓封许，而称咎繇为许繇，也就好像商人称自己的先祖契为殷契一样。杨宽在《中国上古史导论》中进一步发挥章氏的意见，以“许”古音读如“虎”，“虎”古通作“皋”，又“繇”、“由”、“陶”三字古声并属“幽”类，而证皋陶、许由实为同一神。