感谢
@刘柯的邀请。我从视觉角度分析下。个人的理解不免有偏差，请对此熟悉的神经科学大神们指出错误。
大脑判定一个人为陌生人时候有着非常有意思的加工过程。大脑在判断陌生人的时候都是很高速的，我认为主要有两个点要提一下：1.方法是比对面部模版（facial norm）；2.脑区在梭状回面部区（FFA）。
首先我认为我们会把看到的脸和我们心中的模版做一个比较。图一 （Ammen et al.,2011)是一个比较好的例子:
比如绿圈的三个人是某人的挚友，那么中心的蓝色圈可以理解为该人的挚友所组成的面部模版。插一句，棕红色圈内的图像是针对该模版所合成的‘反方向挚友’的脸。这一套理论是G Rhodes （她的链接
UWA Staff Profile : The University of Western Australia : The University of Western Australia）教授在她的试验中提出的。她的这个假设非常符合我们大脑要求告诉识别的基本需求。既然我们生活中能够认识这么多人，在识别陌生人的时候通过一一识别，那真是费时费力：就比对三五个人还好，要是比对一两百个人就会卡壳了。所以在告诉识别的时候，我们先去把陌生面孔和平均后的熟悉面孔比一下，如果有交集再细细比对分析（比如上图的轨道）；若差的比较远，就激活其他系统进行陌生人的判断。
我在这针对她的观点据个识别陌生人的例子。小明有2个认识的人（Dan和Jim），然后认识的人组成了一个熟悉者模型：
有一天小明在机场见到了下图这个人：
他快速地将这个大爷和他脑内的模版做了个比较：
这一看，小明就发觉了这位大爷离他所熟悉的差得远，他马上就能感觉到陌生感。这样的陌生感和不确定性（大爷的衣着）能激发小明潜在恐惧情绪。总而言之紧接着记忆比对，这位大爷的脸激活了小明的杏仁核。
正如吉米莫里森的歌词一样，陌生人就是奇怪的（People are strang, when they are stranger.)。从进化心理学角度来看，我们很有必要对陌生人快速排查：因为陌生的人往往和我们有着不一样的动机想法，比如这位大爷的衣着神态的确不太对劲，会容易让人怀疑其动机和犯罪倾向。根据Todorov(2006)的观点，杏仁核（amygdala）会帮助人快速的识别对方的可信赖程度尤其是是否陌生，保证了个体在社会交流中的安全。上文中小明恐惧的情绪激活了他杏仁核。而杏仁核会高速区分这位大爷是不是别危险、有恶意、有没有威胁。
虽然说杏仁核对新异刺激有着明显反应，但是可见它只是在判断危险性而已，并没有直接涉及人物的识别。根据研究表明，Calder和Young （2005）还有Haxby大神和Hoffman大神（2000），真正识别的区域应该在梭状回面部区（Fusiform Face Area）。梭状回面部区对熟悉的刺激物以及人脸有着高度的敏感，所以说对熟悉的人脸有着非常快的反应。脑电研究结果表明梭状回面部区的启动时间（165毫秒）符合面部识别特征波（N170波），可以说梭状回面部区的启动非常的快，是无意识运作的；其次，脑损伤患者研究表明，很多梭状回面部区受损病人都有着不同程度的面孔失认症，可以理解为梭状回面部区的健康影响了面孔的识别。
总而言之，我们在判断一个人陌生与否时候，我们实际上在通过梭状回面部区来比对这张脸属不属于我们心目中熟悉的范畴，从而得出陌生与否的判断。
文献
Armann, R., Jeffery, L., Calder, A. J., & Rhodes, G. (2011). Race-specific norms for coding face identity and a functional role for norms. Journal of Vision, 11(13), 1-14; doi:10.1167/11.13.9
Calder, A. J., & Young, A. W. (2005). Understanding the recognition of facial identity and facial expression. Nature Reviews Neuroscience , 6 (8), 641-651.
Willis, J., & Todorov, A. (2006). First impressions: Making up your mind after 100 ms exposure to a face. /Psychological Science, 17/, 592-598.
Haxby, J. V., Hoffman, E. A., & Gobbini, M. I. (2000). The distributed human neural system for face perception. Trends in cognitive sciences , 4 (6), 223-233.
Rhodes, G., & Jaquet, E. (2011). Aftereffects reveal that adaptive face-coding mechanisms are selective for race and sex. In R.A. Adams Jr, N. Ambady, K. Nakayama & S. Shimojo (Eds). The Science of Social Vision. New York: Oxford University Press.
