找回密码
 立即注册
齐鲁信息网 瀑布流 新闻全搜索 查看内容

OpenAI当红新星宋飏:最新研究获评“终结扩散模型”,16岁上清华 ...

2023-4-17 15:11| 发布者: 齐鲁| 查看: 54| 评论: 0

摘要: 一个OpenAI华人大牛,最近引发众人关注。他刚以一作身份发表的最新生成模型,引爆整个学术圈,让不少人惊呼:有望「终结扩散模型」,「图像生成领域,要变天了」。他提出的一致性模型,效果比扩散模型更快更好——只 ...
一个OpenAI华人大牛,最近引发众人关注。

他刚以一作身份发表的最新生成模型,引爆整个学术圈,让不少人惊呼:

有望「终结扩散模型」,「图像生成领域,要变天了」。

他提出的一致性模型,效果比扩散模型更快更好——只需3.5秒就能生成64张左右256×256的图像。



而在此之前,同样也是因为他的工作,才有了之后扩散模型的狂潮——

DALL-E 2、Stable Diffusion、Imagen等的出现。

这位名叫宋飏的机器学习研究员,亲身参与着图像生成领域的关键性变革。



但不为多数人所知的是,他曾16岁裸分上清华,原本是想当一名物理学家。

他曾这样形容两者之间的关系:

有很多技术最初是由物理学家发明的,现在在机器学习中非常重要。

OpenAI华人大牛

从个人网站上显示, 目前他在OpenAI致力于开发可扩展的方法来建模、分析和生成复杂的高维数据。

主要研究兴趣涵盖多个领域,包括生成建模、表示学习、概率推理、人工智能安全性以及AI for Science。

而他的最终目标也在网站上提及:

解决具有广泛意义的问题,开发既易于理解又有效的方法, 并构建可以改善人类生活的智能系统。

他的最新论文一致性模型,在学术圈引起了巨大的反响。



有网友实测发现,只需要3.5秒左右就能生成64张左右256×256的图像:

游戏结束!

这种图像生成领域的颠覆性,对于宋飏本人来说可能并不陌生。

来到OpenAI之前,他曾在斯坦福大学攻读计算机博士,研究包括基于分数的生成模型(Score-Based Diffusion models)和扩散模型,师从Stefano Ermon。





Stefano Ermon是斯坦福计算机系副教授,隶属于人工智能实验室,也是伍兹环境研究所的研究员。



(值得一提的是,OpenAI不少研究员也师出同门,比如负责ChatGPT训练的Shengjia Zhao,本科同样毕业于清华)

其团队连续两年获得ICLR杰出论文奖,其中一次一作正是宋飏。



使用随机微分方程进行基于分数的生成建模。

他们提出了一种全新的方式来解决基于分数生成模型的逆向问题,最终在CIFAR-10上实现了破纪录的无条件图像生成性能,并首次在这种生成模型中证明了高分辨率(1024ˆ1024)图像的高保真生成。

而要被视作为Diffusion Model提供早期贡献的,还要属被NeurIPS 2019 接收并做口头报告的工作。



当时,GAN还在以逼真生成风格席卷全球,但众多科学家仍受困于很难训练、无法完整采样等难题。

斯坦福大学博士后Sohl-Dickstein受到物理学启发,利用扩散原理开发了生成建模算法——类似于从一滴墨水变成漫射淡蓝色的水,首先将训练数据集中的复杂图像转化为简单的噪声,然后教系统如何反转这个过程,将噪声转化为图像。

虽然可以对整个分布进行采样,但性能效果仍远远落后于GAN,训练过程也太慢。

这时候,宋飏和他的导师出现了。他们提出了一种新方法,不估计数据的概率分布,而是估计分布的梯度,最终效果实现了对GAN的超越。



宋飏坦言:当时根本不知道扩散模型。是在论文发表之后,收到了Sohl-Dickstein的邮件,称与扩散模型有非常紧密的联系。

此后,更多人在此基础上进行了更新和迭代,才有了扩散模型的惊艳效果。

或许在此之前,宋飏怎么也不会想到,这场Diffusion Model风潮竟受到物理启发,还会与自己有关。

16岁就当理科状元上清华

早在高中的时候,宋飏就展现了他在物理和信息学方面的天赋。

当时他在江苏省新海高级中学,就获得了全国物理奥赛、信息学奥赛的一等奖,并且还成功当选第一年清华大学“新百年领军计划”校长推荐人。

据称,这放在连云港市,也是全市第一人。

当时清华推荐生面试现场,一段“朴实无华”的自我介绍就让当场所有人都记住了他。

我是奥赛宋飏,我获得了物理以及信息学的全国一等奖;我是标兵宋飏,我的理想是做一名物理学家,现在我已经自学了高校里的高等数学以及普通物理学;我还是文艺宋飏,我已经通过了钢琴十级考试,在班级的羽毛球对抗赛上,也有我活跃的身影。

最终全票通过,当上了清华推荐生。但他有一个flag:裸分上清华。

于是在第二年,以425分获得当年连云港市的理科状元,顺利进入到了清华大学数理基础科学班,师从朱军、Raquel Urtasun、Richard Zemel等大佬。

对于这个成绩,当时他也没有想到:我觉得也就在400分左右吧,完全出乎意料。

据当时扬子晚报消息,每次考完试时,就经常找老师们聊天谈心。在学校里考得最差的一次是年级40多名。

除了学校和老师的帮助,家庭的氛围也对他的成长密不可分。年幼时父母晚饭后就不看电视,而是各自拿着一本书在看。在这种氛围中,宋飏也坐在书桌旁阅读各类书籍。

现在,他也有了最新动向:

2024年1月开始,他将加入加州理工学院电子系(EE)和计算数学科学系(CMS)担任助理教授。

路过

雷人

握手

鲜花

鸡蛋

最新评论

QQ|Archiver|手机版|小黑屋|齐鲁信息网

免责声明:本文章来源于网络转载是出于传递更多信息之目的,如对稿件内容有疑议,请及时与我们联系。

GMT+8, 2024-4-27 12:12 , Processed in 0.100008 second(s), 16 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

返回顶部