威震天分三次迭代(第1次、第2次和第3次)，是由NVIDIA的应用深度学习研究团队开发的强大且高性能的变压器模型。这一倡议旨在推进大型变压器语言模型领域的研究。威震天旨在促进这些模型的大规模培训，使其成为众多应用程序的宝贵资产。
主要亮点：
使用威震天的项目：
威震天已被广泛应用于一系列项目中，展示了它的多功能性和对各个领域的贡献。一些值得注意的项目包括：
尼莫威震天：
威震天在Nemo威震天中得到了应用，这是一个全面的框架，旨在解决构建和训练具有数十亿甚至数万亿参数的高级自然语言处理模型的复杂性。这一框架对从事大型NLP项目的企业尤其有利。
可扩展性：
威震天的代码库装备精良，可以有效地训练拥有数千亿参数的大规模语言模型。这些型号显示出跨各种GPU设置和型号大小的可扩展性。该范围包括参数从10亿到惊人的1万亿的GPT模型。可扩展性研究使用了NVIDIA的Selene超级计算机，最广泛的型号涉及多达3072个A100 GPU。基准结果显示了令人印象深刻的线性扩展，强调了威震天的性能能力。
