时间：2022-10-09 17:11:42 | 浏览：3269
萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
比Codex还会写C语言的AI代码生成模型，现在开源了！
这段时间，用AI写代码可以说是大火，其中最著名的要属OpenAI的Codex和DeepMind的AlphaCode。
△基于Codex的Copilot
然而，这两个AI模型，全都没有开源：
其中AlphaCode只给出了一些测试样例，而Codex只开放了API。
为此，来自CMU的几个研究人员，用GPT-2搞出了一个名叫PolyCoder的AI代码生成模型，而且还是开源的。
据研究人员表示，虽然PolyCoder最大只有27亿参数（相比Codex有120亿参数），但它用C语言写出来的代码，比Codex的效果还要好。
这里面究竟有什么秘诀？
首先来看训练用的数据集，这也是PolyCoder的最大特点之一。
此前，包括Codex、CodeParrot等AI代码生成模型，主要都是基于Python语言的代码来训练。
例如Codex的评估数据集之一HumanEval，评估的也是生成Python代码的效果。
相比之下，PolyCoder采用了多种编程语言代码集来训练，一共有12种：
C、C#、C++、Go、Java、JavaScript、PHP、Python、Ruby、Rust、Scala和TypeScript。
其中，C语言的代码量是最多的，达到了221GB；而Python代码的数据量比Codex和CodeParrot用得都要少。
这里PolyCoder用的是GitHub上的公开代码，主要选取的是各种编程语言中比较受欢迎的库，每个库至少有50 Stars。
据研究人员表示，每种编程语言库的Stars总数加起来不超过25k，以避免模型生成的代码效果太过于倾斜最流行的编程语言（通常编程语言越流行，库的Stars就越多）。
通过提取库中的文件、经过简单处理（包括消除重复代码）后，一共筛选出大约254GB的数据用于训练。
然后是预训练的方法。
语言模型的预训练方法通常有三种。
第一种是自左向右的语言模型，根据上文预测下文，比较适用于代码生成等；第二种是掩蔽语言模型，基于上下文预测屏蔽片段，比较适合代码分类等；第三种是编解码器模型，比较适用于代码注释等任务。
这里PolyCoder主要采用的是第一种预训练方法。
相比于同样采用GPT-2训练的CodeParrot和Codex，PolyCoder在超参数设置上也稍微有一些差异：
PolyCoder一共提供了三种不同的模型，分别有27亿参数、4亿参数和1.6亿参数，研究人员可以根据自身需求和不同的训练能力来选取合适的模型。
那么，最终训练出来的AI模型，代码生成效果如何？
研究人员将PolyCoder与已有的AI代码生成模型进行了对比。
由于AlphaCode不好比较（接口没开放），所以研究人员主要分析了下面这些模型，包括GPT-Neo、CodeParrot和Codex等。
其中蓝色的是开源的，橙色的是没开源的：
从参数量来看，PolyCoder并不是最顶尖的，最大的27亿参数模型也只有Codex的四分之一不到。
研究人员先是用语言模型评估常用的困惑度对一系列模型进行了比较。
困惑度（Perplexity），用于衡量语言模型（LM）的好坏。困惑度越低，语言模型面对代码感到困惑的程度就越低，模型生成效果越好。
从图中来看，PolyCoder在C语言中意外取得了最好的效果（困惑度最低）。
用大量C语言训练PolyCoder的结果说明，即使模型整体原理不变（基于GPT-2），单纯改变训练用的代码集，也能训练出擅长不同语言风格的AI代码生成模型。
可惜的是，从其他语言来看，生成的效果就完全没办法和Codex相比了：
例如，在主要用于评估Python代码的HumanEval上，PolyCoder的能力远不如Codex好：
据论文分析，这可能是Python代码数据量、模型参数量不足等原因导致的。
此外，作者们也提到，做出PolyCoder的目的主要还是为了开源一个AI代码生成模型，让更多人参与研究和使用。
目前代码已经开源，无论是直接拿来用，还是试着在它的基础上开发新模型都可以。
感兴趣的小伙伴可以上手一试了~
一作许方正（Frank Xu），目前在CMU读博，研究方向是NLP、信息抽取等，发表过多篇顶会论文，包括ICLR、ACL和EMNLP等。本硕毕业于上海交通大学，师从朱其立教授。
Uri Alon，在CMU进行博士后工作，研究方向是编程语言处理（PLP）、NLP和深度学习。
Graham Neubig，CMU助理教授，研究方向是NLP、机器翻译和基于机器学习的自然语言理解。
Vincent J. Hellendoorn，CMU计算机助理教授，主要研究方向是软件工程和机器学习，致力于利用智能方法帮助软件开发人员减少代码调试、程序优化等繁琐工作的时间。
不知道作者们是否已经在用这个AI撸代码了（手动狗头）
项目地址：
https://github.com/VHellendoorn/Code-LMs
论文地址：
https://arxiv.org/abs/2202.13169
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
01.介绍篇操作系统及开发系统02. 入门篇03.提高篇03.精通篇C语言精通大牛阶段C语言EasyX图形编程如果你与我志同道合于此,很愿意与你交流如果你喜欢我的内容,欢迎关注和支持C语言基础入门资料：素材资源：想要资源的小伙伴可以可以【点
前言C语言属于高级程序语言的一种，它的前身是“ALGOL”。其创始人是布朗·W·卡尼汉和丹尼斯·M·利奇。C语言问世时是带有很大的局限性，因为它只能用于UNIX系统上。然而随着科学技术的进步，计算机工业的发展，C语言逐渐脱离UNIX。198
C语言是一种结构化的编程语言。它也称为面向函数的编程语言。C语言是由美国贝尔实验室（AT＆T）的Dennis Ritchie于1972年开发的。1968年，丹尼斯·里奇（Dennis Ritchie）开始研究诸如BCPL，CPL之类的编程语
一、C语言程序的构成与C++、Java相比，C语言其实很简单，但却非常重要。因为它是C++、Java的基础。不把C语言基础打扎实，很难成为程序员高手。1、C语言的结构先通过一个简单的例子，把C语言的基础打牢。C语言的结构要掌握以下几点：（1
C语言是一门面向结构化的高级编程语言（也有人认为它是中级语言），用于通用编程需求。基本上，C语言是其基本语法和库函数的集合，因此程序员定义自己的函数并且将其包含在C语言库中也是很方便的。C语言的主要用途是编写其他编程语言的编译器、操作系统、
在互联网蓬勃发展的时代，有一类人做出了巨大的贡献，这一群人被大家称之为程序员，怎样才能成为一名优秀的程序员呢，为什么每一个程序员都需要学习C语言呢？就让我来跟大家分享分享：第一：相比较其他的编程语言（像C++，JAVA），C语言是个低级语言
高考结束选择计算机专业要学C语言，而C语言真的过时了吗？我们现在还要学习C语言吗？有同学问过我这个问题，特别是现在对于很多同学来说，选择计算机专业的话肯定离不开的是C语言这门语言！我相信这些同学是属于对计算机比较感兴趣的，或许有些是父母的意
上一篇文章中，简单地介绍了一下什么是编程，以及编程根据编译运行的方式有哪些分类，还附带一些些小小的学习建议。从这篇文章起，就正式进入了C语言学习中。C语言简述首先来认识一下，什么是C语言？C语言是一种计算机程序设计语言，于1972年诞生于美
前言作为理工科的我们，看到一些理论、概念和一些术语，就是脑瓜疼。在大学时，这些知识，很多时候都是作为填空题，最终的答案就跟四级作文差不多，答案脑洞大开。回归正题，其实，有很多东西我们只需要了解一下就好了，知道有这么一回事。例如，C语言是谁搞
看了此文后，我想对于您学习此语言一定有很大的帮助，同时也能了知晓如何用最短的时间学会C语言以及掌握C语言的精髓所在。谈及C语言，我想凡是学过它的朋友都有这样一种感觉，那就是“让我欢喜让我忧。”欢喜的是，C语言功能非常强大、应用广泛，一旦掌握
学C语言不知道从哪儿下手？学习框架都帮你列好了！在未来计算机专业讲又要迎来一批新生小鲜肉！C语言入门到入土，从长发飘飘到秃顶的老铁也越来越多，其中，想自学成才的也占了不少数；想笨鸟先飞的也占有不少数。传说中的C语言就是那么刺激和高挑战没有基
C语言入门了解篇-C语言编译流程(面试常见问题)当我们安装了集成环境之后，编写.c文件，一按下图红色框框的按键即“编译并运行”，就可以得到一个“.exe”后缀的可执行的C程序文件，这期间并非只有一道工序，而是分别经过了预处理、编译、汇编和链
C语言是一种计算机程序设计语言,它既有高级语言的特点,又具有低级汇编语言的特点。它可以作为系统设计语言来编写工作系统应用程序,也可以作为应用程序设计语言来编写不依赖计算机硬件的应用程序。因此,它的应用范围非常广泛。C语言的诞生及发展历程如图
很高兴你能光临小编寒舍首先感谢百忙之中你能从万千文章中点小编得专属页面。这不是娱乐篇，这是学习道场。开始前，小编就做一个简单得自我介绍：(开启装逼模式)我就是传说中写文章通俗而不庸俗，说话风流而不下流，智慧与美貌并重，英雄与侠义得化身得小编
C教程更多C/C++学习资料 私密我“代码”，即可获取C是贝尔电话实验室的Dennis M. Ritchie于1972年开发的一种通用的，程序性的，命令式的计算机编程语言，用于开发UNIX操作系统。C是使用最广泛的计算机语言。它与Java编
