边境，烧杀抢掠，百姓苦不堪言。嘉靖二十九年，俺答汗率领大军南下，一路势如破竹，直逼北京城下，史称“庚戌之变”。面对如此危局，严嵩却害怕出战失利会影响自己的权势，竟让兵部尚书丁汝夔坚守不出，任由俺答汗在城外肆意劫掠。俺答汗在北京城郊烧杀抢掠了八天，满载而归，明朝军队却不敢追击。这场耻辱的事件，让明朝的威望一落千丈，也充分暴露了严嵩专权下明朝军事的腐朽和无能。
与此同时，东南沿海的倭寇之患也愈发严重。日本的一些武士、浪人勾结中国沿海的海盗、奸商，组成倭寇，频繁侵扰东南沿海地区。他们烧杀掳掠，无恶不作，给当地百姓带来了巨大的灾难。明朝虽然多次派兵围剿，但由于严嵩父子贪污军饷，军队装备落后，士兵士气低落，始终无法彻底平定倭患。
直到戚继光、俞大猷等一批抗倭名将的出现，局面才得以扭转。戚继光组建了“戚家军”，他针对倭寇的特点，创造了鸳鸯阵等战术，还亲自训练士兵，使得戚家军纪律严明，战斗力极强。戚家军在与倭寇的战斗中屡立战功，先后在浙江、福建、广东等地大败倭寇，基本肃清了东南沿海的倭患，为保卫国家和百姓立下了赫赫战功。可即便如此，严嵩父子为了自己的私利，还时常对戚继光等人的抗倭行动进行掣肘，妄图打压他们的功劳。
随着严嵩父子的恶行越来越多，他们在朝堂上的敌人也越来越多。终于，在徐阶等人的精心策划下，严嵩逐渐失势。徐阶也是内阁大臣，他为人沉稳，善于隐忍，一直在等待时机扳倒严嵩。嘉靖四十一年，道士蓝道行利用扶乩（一种道教的占卜方法），暗示严嵩是奸臣，世宗开始对严嵩产生怀疑。徐阶又趁机让御史邹应龙上书弹劾严世蕃，列举了他的种种罪行。世宗大怒，下令将严世蕃逮捕入狱，严嵩也被罢官。
严世蕃在狱中还妄图翻案，他与党羽密谋，想通过攀诬其他大臣来为自己脱罪。但徐阶识破了他们的阴谋，他向世宗揭露严世蕃勾结倭寇、私通蒙古、图谋不轨等罪行。世宗听后，怒不可遏，下令将严世蕃斩首，严嵩被削籍为民，家产被抄没。严嵩晚年穷困潦倒，只能靠乞讨为生，最终在孤独和绝望中死去，结束了他罪恶的一生。
严嵩倒台后，世宗依然沉迷于道教，对朝政不闻不问。嘉靖