《史记·秦始皇本记》记载：战国末期，秦王嬴政于二十六年(公元前221年)统一天下，自称“秦始皇”，分天下为三十六郡。“二十八年(公元前219年)始皇东巡齐地(今山东),祭高山大川之事。乃至渤海以东，芝黄(今山东黄县东面)、睡(今福山东南)、穷成山(今成山东角)，登芝罘(今芝罘岛)，立石。颂秦德焉而去。”这是秦始皇—登芝罘山，时年40岁，并立下第一块石碑。

秦始皇一登芝罘时，曾修有始皇道，从今天幸福镇幸福八村的八里岗开始到芝罘大疃村，仍有遗迹可寻。据说，秦始皇东巡时，在琅琊(今山东省胶南市琅琊县)遇齐人徐市(即徐福)，徐市告诉他：大海里有蓬莱、方丈、瀛洲三座神山，山上仙人有长生不老之药，但须派童男童女随他去海中求仙方可得到。始皇信之，遂“遣徐市发童男女数千人，入海求仙人。”

二十九年(公元前218年)，始皇东游，再次来到胶东二登芝罘，时年41岁。他又在老爷山上立碑一块，纪功刻石分立两端，史称两观刻石，碑文系李斯手书，《史记》中均有记载。封建社会的达官贵人多慕名碑刻，到老爷山上观光，当地土著不堪其0招待，于明朝年间将碑石推入海中，今人尚有于海底观其颜者。

秦始皇三登芝罘是在9年之后(胡亥元年，公元前210年)，时年50岁。第一次东巡时派去求长生不老药的徐市，一去九年空手而归，他怕秦始皇罪责，编造了一套谎言：“蓬莱药可得，然常为大鲛鱼所苦，故不得至，原请善射与俱。见则以连1射之。”始皇求仙心切，信以为真。立即命捕鱼者下海捕杀大鱼。自己则持可发“连1”(连续发射的箭)的强弓，从琅琊出发，沿岸巡海，至成山也未见大鱼，又回头向西来到了芝罘山(即芝罘岛老爷山)，果真看见一条大鱼扬鳍而来，便亲持弓箭射杀一尾，留下“射鱼台”之名。现遗址即老爷山北坡半山腰处，方圆10平方米左右，此处皆青石铺砌。

秦始皇枉费心机，不但没有寻求到长生不老药，反而在归途中患重病，未及咸阳便死于沙丘(现在河北省平乡县)。《福山县志》中有两篇文章讽刺道：“北筑长城南取越，虔刘极矣更谁欺；仙药自是不可致，枉与一鱼角雄雌。”