-
了解下：2020年最酷的10家大数据初创公司
所属栏目：[大数据] 日期：2021-06-04 热度：146
从业务分析和AI项目，再到实行数字化转型，企业希望在一系列项目中采用海量数据，但他们遇到了很多问题。 查找、组合、准备和转换用于特定任务的数据，已经成为一项巨大的挑战。据Gartner估计，数据和分析负责人把36%的时间都用在了数据准备和数据集成上，这[详细]
-
9.04亿网民切实数据曝光，超7成月收入竟不到这个数？你是哪类？
所属栏目：[大数据] 日期：2021-06-04 热度：80
人口普查是一个关系全民的大事，十年一次的全国人口普查将于11月1日正式开启。 我国人口已突破14亿，随着移动互联网的发展，我国网民已破9亿，而这里有一个扎心的数据，七成网民月收入不足5000元。 这里有个疑问，网上冲浪的人，难道不是人均985、211，年薪[详细]
-
每个数据科学家都需要的3种方便的异常检测算法
所属栏目：[大数据] 日期：2021-06-04 热度：53
我确定您遇到以下几种情况： 您的模型表现不理想。 您不禁会注意到有些地方似乎与其他地方有很大的不同。 恭喜，因为您的数据中可能包含异常值! 什么是离群值? 每个数据科学家都需要的3种简单的异常检测算法 Photo can be found in StackExchange 在统计中，[详细]
-
大数据在医疗、供应链和智慧城市中的影响
所属栏目：[大数据] 日期：2021-06-04 热度：104
1、简单来说，CyberVein会做什么? 就像Google一样，CyberVein始终处于测试阶段。我们拥有令人难以置信的开发人员和策略师，他们正在为各种用例开发定制的数据管理解决方案：医疗数据处理、智慧城市计划、物流/供应链和物联网。我们希望看到我们的技术以分散[详细]
-
了解大数据处理引擎
所属栏目：[大数据] 日期：2021-06-04 热度：136
大数据处理阶段 此阶段的目标是使用单个模式来清理，规范化，处理和保存数据。最终结果是具有定义良好的架构的可信数据集。例如Spark之类的处理框架用于在机器集群中并行处理数据。在这里我们需要进行数据的验证，隔离掉不合法的数据，我们需要对不良数据进[详细]
-
数据骗子哪哪都有，教你拆穿所谓“万金油”
所属栏目：[大数据] 日期：2021-06-04 热度：172
不同的学科 统计学家接受的训练是推断数据之外的内容，而分析师接受的训练是探究数据集中的内容。换句话说，分析师根据数据中包含的内容得出结论，而统计学家根据未包含于数据中的内容得出结论。分析师帮助你提出好问题(假设生成)，而统计学家帮助你获得理想[详细]
-
Windows10系统下Hadoop和Hive开发环境搭建填坑方法
所属栏目：[大数据] 日期：2021-06-04 热度：161
境准备 基于笔者的软件版本洁癖，所有选用的组件都会使用当前(2020-10-30)最高的版本。 软件 版本 备注 Windows 10 操作系统 JDK 8 暂时不要选用大于等于JDK9的版本，因为启动虚拟机会发生未知异常 MySQL 8.x 用于管理Hive的元数据 Apache Hadoop 3.3.0 - Ap[详细]
-
职场大数据：女性程序员总共两年间增长70% 平均月薪达1.5万
所属栏目：[大数据] 日期：2021-06-04 热度：59
10月24日程序员节当天，腾讯课堂联合猎聘正式发布《中国女性程序员职场力大数据报告》(以下简称报告)，报告显示程序员领域不再是男性的专属领地，2018至2020年三年间，女性程序员的增长比例将近70%。越来越多女性正加入程序员的行列，其平均月薪也达到1.5万[详细]
-
Hive数据倾斜案例阐述
所属栏目：[大数据] 日期：2021-06-04 热度：70
一、离线数据的主要挑战：数据倾斜 首先介绍 数据倾斜 的概念。 倾斜应该来自于统计学里的的偏态分布，数据处理中的倾斜和此相关。 对于分布式数据处理来说，我们希望数据平均分布到每个处理节点，但是实际上由于业务数据本身的问题或者分布算法的问题，每个[详细]
-
数据分析对于防止投资失误非常重要
所属栏目：[大数据] 日期：2021-06-04 热度：186
如何使用大数据做出更好的投资决策? 大数据正在以根本方式改变投资的性质。英国媒体《金融时报》(Financial Times)在去年2月发表的一篇文章中探讨了大数据的优点。在冠状病毒疫情期间引起动荡的市场中，这些见解更加适用。 那么，大数据对常规交易者或机构投[详细]
-
大数据风控的寻衅：团伙骗贷逾十亿 线上信贷如何反欺诈？
所属栏目：[大数据] 日期：2021-06-04 热度：163
随着大数据风控的兴起，越来越多的银行推出纯线上信用贷款。这类贷款，一般只需要通过搜集到的借款人信息，多维度给借款人画像，借助APP等线上渠道申请，几分钟就能给借款人提供数万元到数十万元额度不等的贷款。 这种便捷贷款品种的出现，也给一些别有用心[详细]
-
数据分析可以更换工作多样性吗?
所属栏目：[大数据] 日期：2021-06-04 热度：188
人力资源分析平台Visier公司首席执行官Ryan Wong日前对数据分析为什么可以帮助组织领导者实现工作的多样性和包容性进行了分析和探讨。 很多组织尝试通过多种方法来解决工作场所中存在的员工不平等现象。例如，特定的业务团队需要为员工提供实现共同目标而汇[详细]
-
数据资产？你有什么数据资产呢？
所属栏目：[大数据] 日期：2021-06-04 热度：158
一 数据垃圾还是数据资产，这是一个问题 数据绝对不都是资产，更多数据是垃圾。 大数据时代的一个最大的公众误解，就是让人们以为有这么一个万能的数据解构者，能够在容纳了海量的数据之后，产生出人类所不能企及的智慧与洞察。 但可惜，数据越大，可能包含[详细]
-
大数据预测、分析、民调全失误？了解今年的美国大选到底有多扯
所属栏目：[大数据] 日期：2021-06-04 热度：174
大数据与民调 其实早在这场大选开始之前，赌[详细]
-
一个数据爬取和分析系统的演变经历
所属栏目：[大数据] 日期：2021-06-04 热度：115
假设有这样一个需求，需要你写一个爬虫，爬取微博中关于某个话题的讨论，然后分析情感，最后用一个网页来展示分析结果。那么你一开始的数据流程可能是这样的： 后来，老板发现只有微博一个源不够，于是又给你加了100000个源。现在你的系统是这样的： 为了防[详细]
-
区分理解Flink水印延迟与窗口允许延迟的观点
所属栏目：[大数据] 日期：2021-06-04 热度：190
水印延迟(WaterMark) (1) 水印 由于采用了事件时间，脱离了物理挂钟。窗口不知道什么时候需要关闭并进行计算，这个时候需要借助水印来解决该问题。当窗口遇到水位标识时就默认是窗口时间段内的数据都到齐了，可以触发窗口计算。 (2) 水印延迟 设置水印延迟时[详细]
-
数据中台到底包括什么内容？一文搞懂架构设计与组成
所属栏目：[大数据] 日期：2021-06-04 热度：67
一、数据中台功能架构 数据中台建设是一个宏大的工程，涉及整体规划、组织搭建、中台落地与运营等方方面面的工作，本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲，企业的数据中台在物理形态上分为三个大层：工具平台层、数据资产层和数据应[详细]
-
想做数据分析？先防止这4个新手常见的错误！
所属栏目：[大数据] 日期：2021-06-04 热度：74
一般聊到如何做数据分析的文章，都会从各个视角去介绍数据分析的思路和流程。但今天这篇文章，不会告诉你怎么按1234的步骤做数据分析，而是告诉你在数据分析中，不要做什么。 正如查理芒格所言：在生活和事业中，很多成功都来自于你避免了某些事情：比如早逝[详细]
-
小心大数据“杀熟”之风抬头
所属栏目：[大数据] 日期：2021-06-04 热度：194
大数据杀熟，是指同样的商品或服务，不同用户看到的价格或搜索到的结果不同，从而导致用户权益受损的现象。近年来，在个性化算法、深度学习等技术快速发展的背景下，越来越多电商企业或软件APP开始引入人工智能、大数据，这一方面虽然让人们购物、消费的体验[详细]
-
了解数据结构框架思维，一切算法不过是纸老虎
所属栏目：[大数据] 日期：2021-06-04 热度：153
一、数据结构的存储方式 数据结构的存储方式只有两种：数组(顺序存储)和链表(链式存储)。 这句话怎么理解，不是还有散列表、栈、队列、堆、树、图等等各种数据结构吗? 我们分析问题，一定要有递归的思想，自顶向下，从抽象到具体。你上来就列出这么多，那些[详细]
-
马云被约谈 阿里大数据的甜汤怎么分给每一个人
所属栏目：[大数据] 日期：2021-06-04 热度：124
阿里通过自己的电商体系，海量收集了全民数据，以解决信任痛点切入，凭借庞大的阿里电商生态，蚂蚁推出了多种场景化产品（如支付宝、余额宝、花呗、借呗、相互宝等），其业务已延伸至信贷、理财、保险等传统金融领域。 蚂蚁站在数据的富矿上，产生了巨大经济[详细]
-
在pandas中使用pipe()增长代码可读性
所属栏目：[大数据] 日期：2021-06-04 热度：115
1. 简介 我们在利用pandas开展数据分析时，应尽量避免过于「碎片化」的组织代码，尤其是创建出过多不必要的「中间变量」，既浪费了「内存」，又带来了关于变量命名的麻烦，更不利于整体分析过程代码的可读性，因此以流水线方式组织代码非常有必要。 图1 而在[详细]
-
58同城双十一流行职位大数据：快递员平均月薪8519元
所属栏目：[大数据] 日期：2021-06-04 热度：126
11月6日，58同城发布的快递员就业数据显示，今年10月，快递员招聘需求环比提高16.11%，快递员支付薪资达8519元，东莞快递员招聘需求排名首位，北京快递员求职需求位居首位。 据58同城招聘研究院数据显示，今年10月，快递员岗位招聘活跃，招聘需求环比上升16.[详细]
-
大数据发展风险管理的4种措施
所属栏目：[大数据] 日期：2021-06-04 热度：187
为什么大数据很重要 大数据存在了很长时间，但是组织需要花费一段时间才能了解大数据的有用性。大数据不仅跟踪消费者在线，还提供了大数据服务可以分析和推断的行为历史。如果消费者使用智能设备、信用卡或支票进行购物或访问使用智能设备的企业，则他们留下[详细]
-
平台经济反垄断指南宣告，大数据杀熟行为要被严格监管了！
所属栏目：[大数据] 日期：2021-06-04 热度：100
你被大数据杀熟，购买过高价商品或服务吗? 围绕平台经济与大数据领域，一个有重大意义的指南出台了。 11月10日，国家市场监管总局发布了《关于平台经济领域的反垄断指南(征求意见稿)》。 该指南出台的最主要目的，就是为了预防和制止平台经济领域的垄断行为[详细]
