虽然吕不韦为秦国立下了赫赫功勋，但他独揽朝政、贪恋权势，并时常与赵太后偷情，后为了避祸，他又献假宦官谬毒代替自己与赵太后私通。

这使得年少的秦始皇感到一种难却的压抑感和厌恶感。一方面，他不想任何人剥夺原本属于他的权力，他把吕不韦视为自己通向权力之路的绊脚石。另一方面，少年时期的秦始皇赢政的单独自我个人能力毕竟渺小，这就迫使他需要吕不韦的教导与帮助，逐渐地培养治理国家的能力。

这迫使他他只能先隐藏起自己的雄心壮志，保持谦逊、隐忍的处事风格。尔后缪毒谋反，“事连相国吕不韦”。秦始皇赢政果断平定叛乱，并藉此机会先罢免吕不韦相国之职，后又斥责他“君何功于秦?秦封君河南，食十万户。君何亲于秦?号称仲父。其与家属徙处蜀!”