元朝时的“汉人”和“南人”概念完全不是民族概念，而是粗糙的地域概念。

所谓“四等人”制度不见于明朝人编著的《元史》，四等人确切的说叫四类人。

蒙古灭西夏灭金灭大理灭南宋，建立元朝后，将国人分为四类：一类蒙古人，二类色目人；三类汉人，指淮河以北原金朝境内的汉族人、女真人、契丹人、渤海人、高丽人，以及四川、云南两省人；四类南人，又称蛮子，指原属南宋境内的南方汉族人以及少族。

元朝政府并没为四类人的划分颁布过专门的法令，但这种划分却反映在一些政策和规定中。四类人在政治和法律上有不平等待遇。

这是按征服国家及地区的顺序来划分不同待遇，并非简单按种族。“色目人”第二类是最早征服的中西亚各族人；后面灭金，“汉人”第三类指中原人、金国人，包括金国的汉族人、女真人、契丹人等；最后灭宋，“南人”第四类指南宋各族人。

由于没有正面规定，对某些数量较小的人群，有时政府也搞不清应该把他们归入哪一等。

元朝中期有一个女真人的案子，从地方官府到中央有关部门，都不知道他应该算色目人，还是算汉人。经过一番查找文件后，才确定女真人属于汉人。

高丽人和汉族人在文化上类似，元朝政府把他们划入汉人，高丽人很不满，认为自己怎么也应该算色目人，但元朝并不同意。