正文
机器如何使用深度学习学会自动编程
武侠世界分门别派是个常态，有少林、武当、峨眉、崆峒等派别之分，神经网络自动编程目前的主流技术路线也可以分为两派：“黑盒派”和“代码生成派”。尽管都采用了深度学习技术，但是两者在路线方向上有较大差异，也各有特点。下面我们分述两派的基本技术思路及其相应的代表系统。
黑盒派
“黑盒派”是神经网络编程的一类典型方法，所谓“黑盒”，是指编程系统并不显示地输出代码片段，而是从输入输出数据中学习转换规则，通过这些转换规则能够完成某项任务，正确地把输入转化为输出，所学习到的这些转换规则和输入输出数据中的规律则以神经网络参数的方式体现，所以并没有明确的代码或者规则输出，在人类眼中，只能看到能够完成指定任务的训练好的神经网络，至于它学到了什么规律并不清楚，这是为何称之为“黑盒”的原因。
图1 “黑盒派”技术思路
图1展示了“黑盒派”神经网络编程器的基本运行思路，其主体部分包含三个关键部件：神经网络控制器、神经网络感知器以及行为器。神经网络感知器用来感知当前的输入数据并抽取输入数据的特征，神经网络控制器则根据输入数据的特征来判断当前应该对输入数据实施何种行为（比如对于数组排序来说可能是交换两个数值的SWAP(number1,number2)操作），属于决策机构，也是神经网络编程器中类似于人类大脑的关键构件，当确定了采取何种行为后，调用行为器来对输入数据进行实际操作，这样就将输入数据做了一步变换，形成中间数据，之后这个新形成的中间数据继续作为感知器的新输入，如此循环，就能够对原始输入数据不断变换，来完成比如数组排序等任务。在训练阶段，人类提供完成某项任务的一些输入及其对应的输出数据，并指定对应的行为序列，以此作为训练数据，训练神经网络编程器的学习目标是让深度学习系统模仿这种针对输入数据的行为过程，最终能够形成正确地输出数据。当训练完毕后，这些转换规则就被编码到神经网络的网络参数中，当实际应用时，提供一个新的输入，神经网络感知器对输入数据进行特征提取与表示，神经网络控制器决定采取何种操作，行为器对输入数据进行实际的变换行为，形成中间结果，如此反复，直到神经网络控制器决定终止操作，此时得到的结果就是程序对应的输出结果。
从上述过程中可知，“黑盒派”神经网络编程器并不产生具体的代码来完成编程任务，而是学习输入数据和输出数据之间的规律及其转换规则。从广义上来说，神经图灵机等网络模型虽然不是专门用于编程，而是用于更通用的任务过程中，但是其实也是符合这种“黑盒派”架构的基本思路。
图2 神经程序解释器（NPI）运行机制
神经程序解释器（Neural
Programmer Interpreters，简称NPI）是Google提交到ICLR
2016的会议论文中提出的神经网络编程模型，这篇论文因新颖的思路及创新应用获得了ICLR
2016最佳论文奖。神经程序解释器是一种典型的“黑盒派”方法。
NPI的主体控制结构是递归LSTM（参考图2所示），这种递归LSTM结构可以体现程序与子程序之间的调用关系。至于什么是递归LSTM后文会有解释，我们先根据图2所示内容来说明NPI的运行过程。
在t时刻，LSTM的输入包括当前选中的子程序以及此时的输入数据，经过Encoder编码网络对这两个输入进行映射，形成t时刻LSTM输入层的内容。这个过程其实就对应图1中的神经网络感知器，用来对输入数据进行编码和特征提取，在NPI中，不同类型的任务可能对应不同的Encoder编码网络，因为不同任务的输入类型各不相同，比如有的是图片，有的是数组等，所以很难有公用的输入编码器能够统一处理，但是不同任务会共享LSTM层参数。
