然而,所罗门王驾崩后,皇二代继位。皇二代遇人不淑,交友不慎,只知敛财。所罗门的仆人耶罗波安不满新王的赋税,带领北方十个支派揭竿而起,建国“以色列”与之抗衡,因在北方,也称“北国”,定都撒马利亚;剩下南部的两个支派(犹大、便雅悯),称为“犹大”或“南国”,以色列从此一分为二。北国一直与异族通婚,受外族影响,信奉上帝以外的神,很快就被亚述国消灭,亡国的以色列人逐渐被外邦人同化,最终大部分北方人失去了以色列人的身份。
南国犹大,虽然从公元前6世纪开始的500多年中,先后被巴比伦、马其顿、罗马各种占领蹂躏,连圣殿也被巴比伦人烧毁了。然而,犹大人尼希米却是波斯皇帝身边的红人,负责给皇帝倒酒,在他的帮助下,犹大人得到波斯帝国皇帝的支持,公元前445年开始重建圣殿。后来的大希律王为了与所罗门并肩,重金翻修了圣殿,从而开创了辉煌的“第二圣殿时期”。

然而好景不长,犹大被罗马殖民后,就从犹大国变成了罗马的犹大省。可犹大人哪是省油的灯?他们不断兴起反抗罗马的复国运动,最终在公元135年,罗马帝国忍无可忍,镇压了犹大人最后的起义,下令将所有犹大人驱逐出境,同时将圣殿摧毁,取走金器。为了让犹太人忘记故乡,犹大省改名“巴勒斯坦”,耶路撒冷也改名埃利亚·卡皮托利纳(太阳神之城),甚至禁止犹大人进入这座城市。至此,犹大人失去了自己的祖国,变成亡国奴,流散到世界各地。因为他们离欧洲近,所以有一大部分人就去了欧洲,但犹太人始终信犹大教,说希伯来语,与当地的天主教教徒格格不入,又很会赚钱,于是引来了杀身之祸。
犹太人原本是外族对犹大人的蔑称(就像叫印度人阿三一样),后逐渐失去贬义,世界通用,现今的犹太人一般都是指南方犹大国的犹大支派、便雅悯支派和作为祭司的利未支派的后裔。因此希伯来人、以色列人,犹大人、犹太人,都是指以色列民族留存下来的后代。