|
许多系统的执行结构被组织成一系列逻辑组件分组。每个分组被称为一个层。
上下文：在一个分布式部署中，通常需要将系统的基础设施分到不同的子集中。
问题：我们如何将系统分割到多个计算上独立的执行结构：由一些通信媒介连接的软件和硬件组？
弱点：大量前期成本和复杂性。
用途：用在分布式系统中。
3. 管道 - 过滤器架构
软件架构中反复出现的一种模式是管道 - 过滤器（pipe-filter）模式。
弱点
分层会导致性能下降。这种模式不适合高性能应用程序，因为经过架构中的多层来实现一个业务请求的效率是不高的。
分层还会增加系统的前期成本和复杂性。
用途
我们应该将这种方式应用于小型简单的应用程序或网站。对于预算和时间非常紧张的场景，这是一个不错的选择。
2. 多层模式
上下文
所有复杂的系统都会经历独立地发展和衍化系统各个部分的需要。出于这个原因，系统开发者需要对关注点进行清晰且条理分明的分离，以便系统的各个模块可以独立地开发和维护。
问题
软件需要以这样一种方式分割：各个模块可以独自开发和衍化，各自部分之间的交互非常少，支持可移植性、可修改性和复用性。
方案
为了实现关注点分离，分层模式将软件分割成各个单元（称为“层”）。每一层都是一组模块，提供了一组高内聚的服务。其使用必须是单向的。层将一组软件作为一个完整的分区，每个分区暴露一个公开接口。
-
第一个概念是，每一层都有特定的角色和职责。例如，展现层负责处理所有的用户界面。分层架构的这种关注点分离，让构建高效的角色和职责非常简单。
-
第二个概念是，分层架构模式是一个技术性的分区架构，而非一个领域性的分区架构。它们是由组件组成的，而不是领域。
-
最后一个概念是，分层架构中的每一层都被标记为封闭或者开放。封闭层意味着请求从一层移到另一层，它必须通过它正下面的这一层才能达到下面这一层的再下一层。请求不能跳过任何层。
BERT和ALBERT在OntoNotes(准确性)和WinoGender(性别关联)上的表现。WinoGender的值越低，表示模型在推理中较少关注性别信息。
研究发现，BERT或ALBERT在WinoGender上都没有零得分，而在OntoNotes上获得了极高的准确性(接近100%)。实验表明，在一些情况下，模型在推理决策中会考虑性别相关性。这符合我们的预期，模型可以使用多种线索来理解文本，可以只采用其中的一种或是选择全部线索。当然，在实际应用中我们还是要谨慎，不能寄希望于模型根据先验的性别相关性进行预测，其他可用信息对于预测也非常重要。
实践指南
鉴于预训练模型嵌入中的隐式关联有可能影响下游任务，因此在开发新的NLP模型时，我们要考虑可以采取哪些措施来减轻这种风险?
-
隐式相关性的衡量非常重要：虽然可以使用准确性度量来评估模型质量，但是这样度量方式仅从单一角度评估模型，在测试数据与训练数据分布相同时其不足尤为显著。例如，BERT和ALBERT检查点的准确度相差1%以内，但使用性别相关性进行共指解析的相对偏差为26%。这意味着，对于某些任务，这样的差异尤为重要。在处理一些反固定思维的文本时(如男护士)，选择WinoGender分数较低的模型更加合理。
-
更改任何模型配置时都要谨慎，哪怕看似影响不大：神经网络模型训练由许多超参数控制，一般通过选择合理的超参数以最大化训练目标。尽管某些参数选择看似不会对模型产生什么影响，但我们却发现，它们可能会导致性别相关性发生重大变化。例如，Dropout正则化用于避免模型的过度拟合，当我们在BERT和ALBERT训练过程中增大Dropout参数，即使进行微调，性别相关性还是会显着降低。这意味着微小的配置更改就可以影响训练模型，从而降低相关性风险，但同时也表明，在对模型配置进行任何更改时，我们应该谨慎行事、仔细评估。
 （编辑：甘孜站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
