不是源自史记。该成语有两则典故：

一是出至《尚书·咸有一德》：“任官惟贤才，左右惟其人。”。

二是出至《资治通鉴·唐纪十》：唐太宗说：“吾为官择人，惟才是与。苟或不才，虽亲用”“如其有才，虽仇不弃”。