-
10亿+ 秒 看阿里如何达成实时数仓高吞吐实时写入与更新
所属栏目:[大数据] 日期:2022-09-01 热度:142
数据实时入仓所面临的挑战:高性能、可更新、大规模 大数据场景下,实时数据如何写入实时数仓永远是一个比较大的话题,根据业务场景需求,常见的写入类型有: Append only:传统日志类数据(日志、埋点等)中,记录(Record)和记录之间没有关联性,因此新来[详细]
-
善用企业数据策略 无惧混合云和多云环境挑战
所属栏目:[大数据] 日期:2022-09-01 热度:94
混合云和多云架构具有高度的可控性、易扩展性和成本效益,因此企业可以自由选择独立的云产品,以满足几乎任何业务需求。员工可以通过混合云轻松分享和访问数据,推动发展以数据驱动的文化并帮助企业更快地获得洞察。通过混合数据平台,企业能够访问和分析位[详细]
-
Python 取得旅游景点信息及评论并作词云 数据可视化
所属栏目:[大数据] 日期:2022-09-01 热度:57
今天将手把手教你使用线程池爬取同程旅行的景点信息及评论数据并做词云、数据可视化!!!带你了解各个城市的游玩景点信息。 首先新建一个线程并开启线程后线程进入就绪状态,就绪状态的线程不会马上运行,要获得CPU资源才会进入运行状态,在进入运行状态后[详细]
-
万字详解大数据平台异地多机房架构践行
所属栏目:[大数据] 日期:2022-09-01 热度:198
随着B站业务的高速发展,业务数据的生产速度变得越来越快,离线集群规模快速膨胀,既有机房内的机位急剧消耗,在可预见的不久的将来会达到机房容量上限,阻塞业务的发展。因此,如何解决单机房容量瓶颈成为了我们亟待解决的问题。 目前,针对机房容量问题的[详细]
-
抽丝剥茧 深入的数据分析咋整
所属栏目:[大数据] 日期:2022-09-01 热度:57
很多同学总觉数据分析做得不深入,到底该怎么做?今天结合一个具体的例子,分享下如何做一个深入的数据分析项目。 深入级别:0级 某天,你收到一个需求:看下我司APP新增的A功能,过去5天内累计使用1+次的人有多少(去重)。这问题太简单了,直接跑个数丢过[详细]
-
如何使用大数据驱动业务增长
所属栏目:[大数据] 日期:2022-09-01 热度:107
大数据在商业中的作用日趋凸显,数据驱动已经成为企业发展的核心竞争力。 在领导的推动下,很快成立了跨部门的融合增长团队,下面和大家分享这段融合团队的工作经历,一同洞察数据在业务增长方面的实践。 一.切入点 当时融合团队的切入点选得很不错,增加贷[详细]
-
使用机器学习对图片进行分类
所属栏目:[大数据] 日期:2022-08-26 热度:84
服装数据集 服装数据集和MNIST数据集很像,有需要的可以查看教程《MNIST数据集》,包含70000个灰度图,每个图片28 x 28像素。 时装数据集 在这里将使用60000张图片进行训练,使用10000张图片进行评估,可以直接使用Keras进行加载。 复制 fashion_mnist = tf.[详细]
-
人工智能在未来战争中的影响与应用
所属栏目:[大数据] 日期:2022-08-26 热度:95
人工智能+军事 在人工智能技术展现出汹涌澎湃发展趋势的当下,建设以智能技术武装的新型军队,打赢以信息化智能化为特征的新型战争,成为当前世界主要军事强国的优先发展目标。以意志的屈服、不战而屈人之兵为标志的制智能权、制意识权将成为未来军事斗争的[详细]
-
智能决策技术在汽车行业的应用实践
所属栏目:[大数据] 日期:2022-08-26 热度:166
随着新能源、自动驾驶、人工智能技术的发展,汽车行业的智能化水平也水涨船高。作为人工智能领域皇冠上的明珠,决策智能是如何推动汽车行业数字化转型的?决策智能在实际落地中有哪些痛点和解决方案?本文将结合个人十年的数据分析经验,从实战角度介绍运筹[详细]
-
机器学习回归模型相关重要知识点总结
所属栏目:[大数据] 日期:2022-08-26 热度:122
1、线性回归的假设是什么? 线性回归有四个假设: 线性:自变量(x)和因变量(y)之间应该存在线性关系,这意味着x值的变化也应该在相同方向上改变y值。 独立性:特征应该相互独立,这意味着最小的多重共线性。 正态性:残差应该是正态分布的。 同方差性:[详细]
-
人工智能是专家协助和患者护理的推荐处方
所属栏目:[大数据] 日期:2022-08-26 热度:115
开篇 人工智能 (AI)为各个行业的创新提供无限动力,当然也包括医疗保健领域。医疗专业人员受益于机器学习 (ML) 的应用,让他们可以处理电子健康记录 (EHR) ,也提升诊断和治疗方面的能力。AI 不仅消除了人为因素对医疗保健的影响,自动化和 ML 同时也在提高[详细]
-
如何利用人工智能解决工业规模的脱碳工作
所属栏目:[大数据] 日期:2022-08-26 热度:103
我们的世界已经到了社会认识到地球正处于巨大压力之下的地步。各行各业的企业都宣布了在未来几十年将碳足迹减少到净零的计划,大多数企业的目标是在2030年至2050年之间实现目标。虽然在能源、石油和天然气等受影响最严重的行业,围绕净零的战略一直是运营计[详细]
-
负责任地使用AI如何创造更安全的在线空间
所属栏目:[大数据] 日期:2022-08-26 热度:188
人工智能算法对人类生活和更广泛的社会有着巨大的影响。 围绕人工智能的伦理困境包括数字差异及其武器化。 自治应该与人类监督相平衡,同时应该提高对人工智能的负责任使用,以便可以利用它来解决歧视问题。 在计算机进步、数据科学和庞大数据集的可用性的推[详细]
-
人工智能和区块链如何对抗疫情
所属栏目:[大数据] 日期:2022-08-26 热度:84
如今,人工智能几乎被应用在每一项技术中。机器学习和计算机视觉正在使自动驾驶汽车和机器人助手成为现实。人工智能取得的一些最显著的进步是在医疗保健领域,每天都有更多的人在追求这种新技术的应用。 新型病毒的新技术 新冠疫情迫使医学科学家和研究人员[详细]
-
一文助你全面理解合成控制方法
所属栏目:[大数据] 日期:2022-08-26 热度:189
现在人们普遍认为,对其感兴趣的结果(疾[详细]
-
从5G手机的发展看自动驾驶汽车的未来
所属栏目:[大数据] 日期:2022-08-26 热度:65
自动驾驶汽车何时落地?准确地说,现在已经落地不少地方了,就是离普通用户还有多远? 自动驾驶汽车的梦想,或许要从变形金刚说起。汽车+电脑+机器人,让美国人想到了变形金刚这个全新物种。变形金刚已经打了上千集了,可是自动驾驶汽车才刚刚在全球少数几个[详细]
-
终于有人把Hadoop大数据系统架构讲清楚了
所属栏目:[大数据] 日期:2022-08-25 热度:116
传统的系统已无法处理结构多变的大数据,而高性能硬件和专用服务器价格昂贵且不灵活,Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件,通过数百甚至数千个低成本服务器协同工作,可有效存储和处理大量数据。 1.Hadoop生态体系 Google通过三篇重量级论文[详细]
-
交通领域的物联网如何使大数据之于企业产生价值
所属栏目:[大数据] 日期:2022-08-25 热度:198
全球物流市场不断增长,科技正成为发展的主要触发器。 企业正在寻找用于运输的物联网解决方案,以帮助他们提高供应链的可见性、改善物流各个阶段的运营并节省资源。 这可以通过使用物联网设备收集有关物流过程的数据并将其转换为有价值的业务信息来实现。 让[详细]
-
怎样用好数据科学
所属栏目:[大数据] 日期:2022-08-25 热度:142
很长一段时间以来,数据科学一直被视为科技和商业领域的下一次重大革命。最近几年增加了不少使用数据科学应用的企业。根据Statista的数据,截至2021年,近60%的公司在其团队中拥有至少50名数据科学家。 然而,如果客观地看待,数据科学提供的结果与它的期望[详细]
-
浅析大数据的数据灾备建设
所属栏目:[大数据] 日期:2022-08-25 热度:109
大数据时代,数据呈爆炸趋势增长,很多企业都从大数据中获得了利益,推动各自的业务上升了一个台阶。通过大数据技术的完善尤其是大数据和云容器技术相结合,各个企业已经把自己的重要业务迁移到了大数据平台。与此同时企业对数据可靠性和业务连续性保证的诉[详细]
-
未来已来 Cloudera拥抱混合数据年代
所属栏目:[大数据] 日期:2022-08-25 热度:89
我们生活在一个混合数据的世界中。在过去十年间,世界创建、捕获、复制和使用的结构化数据量已从2011年的不到 1ZB 增长到 2020 年的近 14ZB,这已经很惊人了,但还有另外更巨大的 50ZB数据非结构化数据、云数据和机器数据。 对于Cloudera来说,这是一个回到[详细]
-
如何策划数据可视化平台
所属栏目:[大数据] 日期:2022-08-25 热度:62
最近在项目上常常听到这样的话:我想要一个酷炫的数据大屏,设计一定要有科技感,这个可视化设计没有重点每当听到这些需求,作为设计师一般都是欲哭无泪的。到底什么叫酷炫有科技感?客户理解的数据大屏什么样?是数据还是可视化出了问题?? 这篇文章将会结[详细]
-
Python实行数据可视化 你会用什么库来做呢
所属栏目:[大数据] 日期:2022-08-25 热度:163
用Python进行数据可视化你会用什么库来做呢? 今天就来和大家分享Python数据可视化库中的一员猛将Altair! 借助Altair,我们可以将更多的精力和时间放在理解数据本身及数据意义上,从复杂的数据可视化过程中解脱出来。 简单来说,Altair是一种可视化语法,也[详细]
-
一文看清楚 数据指标体系的几大类别
所属栏目:[大数据] 日期:2022-08-25 热度:61
很多同学问:有没有普遍的、一般的指标体系梳理方法?网上常见的指标体系分享,大多是互联网的AARRR一类,现实中情况却很复杂。普遍的方法当然有,就是基于业务逻辑,梳理指标体系。从本质上看,数据指标体系有4大类型,针对四个不同的业务逻辑。今天来系统[详细]
-
两种主流大数据系统架构的差异 终于有人讲明白了
所属栏目:[大数据] 日期:2022-08-25 热度:133
同样都可以处理大规模数据的MPP数据库架构与Hadoop体系架构属于不同的技术体系,二者没有直接的相关性,却常常被放在一起进行比较。特别是在企业数据仓库建设中,MPP架构与Hadoop架构代表两类典型的技术路线选型,事实上,在2015年左右甚至有人认为基于Hadoo[详细]