|
上下文
许多系统需要转换从输入到输出的离散数据流。许多类型转换在实践中重复出现，因此将其创建成独立的可复用的部分，这是比较理想的。
问题
这些系统需要被分割成可复用的松耦合的组件，组件之间拥有简单通用的交互机制。这样它们就可以灵活地相互结合。这些通用松耦合的组件就很容易复用。那些独立的组件可以并行执行。
方案
这种架构中的管道构成了过滤器之间的通信通道。第一个概念是，由于性能原因，每个管道都是非定向的和点对点的，接受来自一个源的输入并经常直接输出到另外一个源。
在这种模式中，有如下四种过滤器。
-
producer（source）：一个过程的起点。
-
transformer (map)：对一些或所有数据进行转换。
-
tester (reduce)：测试一个或多个条件。
-
consumer (sink)：终点。
弱点
不太适合交互性的系统，因为它们的转换特性。
过多的解析和反解析会导致性能损失，也会增加编写过滤器本身的复杂性。
用途
管道 - 过滤器架构用于各种应用程序，特别是简化单项处理的任务，例如 EDI、ETL 工具。
编译器：连续的过滤器执行词法分析、语法分析、语义分析和代码生成。
4. 客户端 - 服务器架构
相关性的缓解：前文以介绍了Dropout对性别相关性的影响，据此，我们进一步推论得到通过这样的方式可能减少额外的相关性：通过增加dropout参数，我们可以改进模型对WinoGender的推理方式，而无需手动指定任何内容，甚至不需要更改微调阶段。然而，随着dropout的增加，OneNotes的准确性也会开始下降(见BERT的结果)，但我们认为可以在预训练阶段避免这种情况，通过更改dropout改进模型，而无需针对特定任务进行更新。在论文中，我们基于反事实数据增强，提出了另一种具有差异化权重的缓解策略。
展望
我们认为，以上这些实践指南为开发强大的NLP系统提供了参考，从而使其适用于更广泛的语言和应用范围。当然，由于技术本身的不足，难以捕获和消除所有潜在的问题。因此，在现实环境中部署的任何模型都应经过严格测试，即尝试不同方法，并通过一些保护措施以确保符合道德规范，如Google的AI原则。我们期待评估框架与数据取得更进一步的发展，使语言模型适用于各种任务，为更多人提供优质服务。
致谢
本文的合作者包括Xuezhi Wang，Ian Tenney，Ellie Pavlick，Alex Beutel，Jilin Chen，Emily Pitler和Slav Petrov。同时感谢Fernando Pereira，Ed Chi，Dipanjan Das，Vera Axelrod，Jacob Eisenstein，Tulsee Doshi和James Wexler等人。
（编辑：甘孜站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
