新的DeepFake Patchting工具证明了94%有效 - 这是其成功的秘诀
问题:哪些人是假的?回答:他们都是。
根据研究,布法罗DeepFake发现工具的大学证明了与肖像的照片有效。
布法罗计算机科学家大学开发了一种工具,通过分析眼睛的光反射来自动识别DeepFake照片。
该工具证明了94%的有效性,在IEEE国际音响,言语和信号处理中接受的纸张中描述的肖像形式的照片有效,在加拿大多伦多举行的IEEE国际音响,言语和信号处理中。
“角膜几乎就像一个完美的半球而且是非常反思的,”纸张的主导作者,思维·莱苏,博士,科学科学与工程系萨尼帝国创新教授说。“所以,与那些来源发出的发光来眼睛的任何东西都会在角膜上有图像。
“两只眼睛应该具有非常相似的反射模式,因为他们看到了同样的事情。我们通常在看一张脸时通常不会注意到,这是在国会之前作证的,在大会上作证的多媒体和数字取证专家莱苏说。
本文“通过不一致的角膜镜面亮点暴露GaN生成的面部”,可在开放访问储存库Arxiv上获得。
共同作者是舒虎,三年级计算机科学博士生和研究助理在媒体法医实验室,杨润,博士,博士,UB前高级研究科学家,现在是中国海洋大学的讲师人工智能中心。
工具地图面部,检查眼睛的微小差异
当我们看看某些东西时,我们所看到的形象被反映在我们眼中。在真实的照片或视频中,眼睛的反射通常看起来是相同的形状和颜色。
然而,由人工智能生成的大多数图像 - 包括生成对手网络(GaN)图像 - 未能准确或一致地执行此操作,可能是由于许多照片组合以产生假图像。
Lyu的工具通过在DeepFake图像的眼中的反射光中发现微小偏差来利用这种缺点。
要进行实验,研究团队从Flickr Faces-HQ获得了真实的图像,以及来自www.thispersondoesnotexist.com的假图像,一个看起来栩栩如生的AI生成的面孔,但确实是假的。所有图像都是像肖像(真正的人,假人直接看着照明照明的相机),1,024个像素。
该工具通过映射每个脸部来工作。然后,它检查眼睛,然后是眼球,最后的光在每只眼球中反射。它比较了反射光的形状,光强度和其他特征的令人难以置信的细节潜在差异。
'Deepfake-O-meter,'和致力于战斗的人
虽然有希望,Lyu的技术有局限性。
对于一个,你需要反射的光源。而且,在编辑图像期间可以固定眼睛的失配光反射。另外,该技术仅在眼睛中反射的近辛像素看 - 而不是眼睛的形状,眼内的形状,或者在眼睛中反射的性质。
最后,该技术比较了双眼中的反射。如果主题缺少眼睛,或者眼睛不可见,则该技术失败。
Lyu已研究机器学习和计算机视觉项目超过20年,以前证明DeepFake视频倾向于对视频科目的眨眼价格不一致或不存在。
除了在国会之前进行作证,他还在2020年帮助Facebook,并通过其DeepFake检测全球挑战,他帮助创建了“DeepFake-O-Meter”,一个在线资源来帮助平均人员测试,看看他们是否观看过视频事实上,是一个深蓝。
他说,识别Deepfakes越来越重要,特别是鉴于大党派世界充满种族和性别与性别相关的紧张局势以及伪造的危险 - 特别是暴力。
遗憾的是,为色情目的创造了一种大量的假冒视频,而且(造成的)对受害者…造成了很多心理损害,“Lyu说。“也有潜在的政治影响,假的视频显示政治家说的东西或做他们不应该做的事情。那很糟。”