写给物理学家的生成模型

王磊; 张潘

doi:10.7693/wl20240602

物理

写给物理学家的生成模型

王磊, 张潘. 2024: 写给物理学家的生成模型, 物理, 53(6): 368-378. doi: 10.7693/wl20240602

引用本文:

王磊, 张潘. 2024: 写给物理学家的生成模型, 物理, 53(6): 368-378. doi: 10.7693/wl20240602

WANG Lei, ZHANG Pan. 2024: Generative models for physicists, Physics, 53(6): 368-378. doi: 10.7693/wl20240602

Citation:

WANG Lei, ZHANG Pan. 2024: Generative models for physicists, Physics, 53(6): 368-378. doi: 10.7693/wl20240602

写给物理学家的生成模型

王磊^1, ,,
张潘²

1 中国科学院物理研究所北京 100190;
2 中国科学院理论物理研究所北京 100190

通讯作者: 王磊, email:wanglei@iphy.ac.cn ;

基金项目:
国家自然科学基金(批准号：T2225018；92270107；12325501)资助项目

Generative models for physicists

WANG Lei^1, ,,
ZHANG Pan²

1 Institute of Physics, Chinese Academy of Sciences, Beijing 100190, China;
2 Institute of Theoretical Physics, Chinese Academy of Sciences, Beijing 100190, China

Corresponding author: WANG Lei, email:wanglei@iphy.ac.cn ;

摘要: 科学研究的本质在于创造。生成式人工智能为更有创意的科学探索打开了无尽的想象空间。作为生成式人工智能的核心，生成模型学习数据样本背后的概率分布，并据此随机采样生成新的样本。生成模型和统计物理在本质上是同一枚硬币的两面。文章从物理的视角介绍扩散模型、自回归模型、流模型、变分自编码器等现代生成模型。生成模型在原子尺度物质结构的生成与设计中展现出巨大的潜力。不仅如此，基于和统计物理的内在联系，生成模型对于优化“大自然的损失函数”——变分自由能具有独特的优势，这为求解困难的统计物理和量子多体问题提供了新的可能。同时，物理学的洞察也在推动生成模型的发展和创新。通过借鉴物理学原理和方法，还可以设计出更加高效、更加统一的生成模型，以应对人工智能领域中的挑战。
- 生成模型 /
- 统计物理 /
- 相对熵 /
- 最大似然估计 /
- 变分自由能
Abstract: The essence of scientific research is about creation. Generative artificial intelligence (AI) has opened up an endless space of imagination for more creative scientific research. As the core of generative AI, generative models learn the underlying probability distribution from data, and then randomly sample from it to generate new samples. Generative models and statistical physics are essentially two sides of the same coin. This article introduces modern generative models including diffusion models, autoregressive models, flow models, and variational autoencoders from a physics perspective. Generative models demonstrate tremendous potential in the generation and design of materials at the atomic scale. Moreover, based on their inherent connection with statistical physics, they have a unique advantage in optimizing Nature’s cost function, the variational free energy, thereby providing new possibilities for solving difficult problems in statistical physics and quantum many-body systems. At the same time, physical insights are also driving the development and innovation of generative models. By drawing inspiration from physical principles and methods, more efficient and unified generative models can be designed to address challenges in the field of AI.
- generative models /
- statistical physics /
- relative entropy /
- maximum likelihood estimation /
- variational free energy .

Tomczak J M. Deep Generative Modeling. Springer International Publishing，2022

Murphy K P. Probabilistic Machine Learning: Advanced Topics. MIT Press，2023

Bishop C M，Bishop H. Deep Learning：Foundations and Concepts. Springer International Publishing，2024

Ackley D H，Hinton G E，Sejnowski T J. Cognitive Science，1985， 9(1)：147

Nguyen H C，Zecchina R，Berg J. Advances in Physics，2017，66(3)：197

Vincent P. Neural Computation，2011，23(7)：1661

Song Y，Ermon S. Generative Modeling by Estimating Gradients of the Data Distribution. In: Wallach H et al (Ed.). Advances in Neural Information Processing Systems 32，2019

Kirkpatrick S，Gelatt C D，Vecchi M P. Science，1983，220(4598)：671

Sohl-Dickstein J，Weiss E A，Maheswaranathan N et al. International Conference on Machine Learning，2015，37：2256

Vaswani A，Shazeer N，Parmar N et al. Advances in Neural Information Processing Systems，2017，30：6000

Wei J，Tay Y，Bommasani R et al. 2022，arXiv：2206.07682

Kaplan J et al. 2020，arXiv：2001.08361

Schaeffer R et al. 2023，arXiv：2304.15004

Papamakarios G et al. Journal of Machine Learning Research， 2021，22：1

Kingma D P，Dhariwal P. Advances in Neural Information Processing Systems，2018，32：10236

Li S H，Wang L. Phys. Rev. Lett.，2018，121：260601

Li S H，Dong C X，Zhang L F et al. Phys. Rev. X，2020，10： 021020

Chen R T Q，Rubanova Y，Bettencourt J et al. Advances in Neural Information Processing Systems，2018，32：6572

Zhang L F，Weinan E，Wang L. 2018，arXiv：1809.10188

Maoutsa D，Reich S，Opper M. Entropy，2020，22(8)：802

Song Y，Sohl-Dickstein J，Kingma D P et al. 2020，arXiv： 2011.13456

Lipman Y，Chen R T Q，Ben-Hamu H et al. 2022，arXiv： 2210.02747

Liu X C，Gong C Y，Liu Q. 2022，arXiv：2209.03003

Albergo M S，Vanden-Eijnden E. 2022，arXiv：2209.15571

Zhao L，Wang L. Chin. Phys. Lett.，2023，40：120201

Gómez-Bombarelli R，Wei J N，Duvenaud D et al. ACS Central Science，2018，4(2)：268

Cédric V. Topics in Optimal Transportation，vol. 58. American Mathematical Soc.，2016

训练数据的重要性. 2023，https://nonint.com/2023/06/10 /the-itin-ai-models-is-the-dataset/

Ingraham J B，Baranov M，Costello Z et al. Nature，2023，623： 1070

DALL.E.3，https://openai.com/index/dall-e-3

Madani A，Krause B，Greene E R et al. Nature Biotechnology， 2023，41：1099

Xie T，Fu X，Ganea O et al. 2021，arXiv：2110.06197

Jiao R，Huang W B，Lin P J et al. Advances in Neural Information Processing Systems，2024，36：11464

Zeni C，Pinsler R，Zügner D et al. 2023，arXiv：2312.03687

Flam-Shepherd D，Aspuru-Guzik A. 2023，arXiv：2305.05708

Antunes L M，Butler K T，Grau-Crespo R. 2023，arXiv： 2307.04340

Cao Z D，Luo X S，Lv J et al. 2024，arXiv：2403.15734

Merchant A，Batzner S，Schoenholz S S et al. Nature，2023，624： 80

Cheetham A K，Seshadri R. Chemistry of Materials，2024，36(8)： 3490

Wu D，Wang L，Zhang P. Phys. Rev. Lett.，2019，122(8)：080602

Xie H，Li Z H，Wang H et al. Phys. Rev. Lett.，2023，131(12)： 126501

Xie H，Zhang L F，Wang L. SciPost Physics，2023，14：154

Feynman R P，Cohen M. Physical Review，1956，102：1189

He K M，Zhang X Y，Ren S Q et al. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016. pp. 770—778

计量

文章访问数: 98
HTML全文浏览数: 98
PDF下载数: 8
施引文献: 0

写给物理学家的生成模型

王磊^1, ,,
张潘²

通讯作者: 王磊, email:wanglei@iphy.ac.cn ;

1 中国科学院物理研究所北京 100190;
2 中国科学院理论物理研究所北京 100190

收稿日期: 2024-05-16

基金项目:

关键词:

摘要: 科学研究的本质在于创造。生成式人工智能为更有创意的科学探索打开了无尽的想象空间。作为生成式人工智能的核心，生成模型学习数据样本背后的概率分布，并据此随机采样生成新的样本。生成模型和统计物理在本质上是同一枚硬币的两面。文章从物理的视角介绍扩散模型、自回归模型、流模型、变分自编码器等现代生成模型。生成模型在原子尺度物质结构的生成与设计中展现出巨大的潜力。不仅如此，基于和统计物理的内在联系，生成模型对于优化“大自然的损失函数”——变分自由能具有独特的优势，这为求解困难的统计物理和量子多体问题提供了新的可能。同时，物理学的洞察也在推动生成模型的发展和创新。通过借鉴物理学原理和方法，还可以设计出更加高效、更加统一的生成模型，以应对人工智能领域中的挑战。

English Abstract

Generative models for physicists

WANG Lei^1, ,,
ZHANG Pan²

Corresponding author: WANG Lei, email:wanglei@iphy.ac.cn ;

1 中国科学院物理研究所北京 100190;
2 中国科学院理论物理研究所北京 100190

Received Date: 2024-05-16

Keywords:

Abstract: The essence of scientific research is about creation. Generative artificial intelligence (AI) has opened up an endless space of imagination for more creative scientific research. As the core of generative AI, generative models learn the underlying probability distribution from data, and then randomly sample from it to generate new samples. Generative models and statistical physics are essentially two sides of the same coin. This article introduces modern generative models including diffusion models, autoregressive models, flow models, and variational autoencoders from a physics perspective. Generative models demonstrate tremendous potential in the generation and design of materials at the atomic scale. Moreover, based on their inherent connection with statistical physics, they have a unique advantage in optimizing Nature’s cost function, the variational free energy, thereby providing new possibilities for solving difficult problems in statistical physics and quantum many-body systems. At the same time, physical insights are also driving the development and innovation of generative models. By drawing inspiration from physical principles and methods, more efficient and unified generative models can be designed to address challenges in the field of AI.

全文HTML

参考文献 (48)

下载: 全尺寸图片幻灯片

返回文章

用微信扫码二维码

分享至好友和朋友圈

写给物理学家的生成模型

通讯作者: 王磊, email:wanglei@iphy.ac.cn ;

Generative models for physicists

Corresponding author: WANG Lei, email:wanglei@iphy.ac.cn ;

计量

出版历程

写给物理学家的生成模型

通讯作者: 王磊, email:wanglei@iphy.ac.cn ;

English Abstract

Generative models for physicists

Corresponding author: WANG Lei, email:wanglei@iphy.ac.cn ;

全文HTML

目录