大数据
Excel 如何快速汇总大数据求和(SQL汇总法)
select 采购部门,产品编码,产品名称,单位,sum(数量) as 销量,价格,sum(金额) as 销售额 from [采购清单$A:J] group by 采购部门,产品编码,产品名称,单位,价格具体操作看下图：
如何开启您的Excel大数据ETL应用
Power Query作为一个数据预处理工具，相当于大数据分析系统中的ETL（Extract Transform Load）部分，负责完成数据的多数据源获取、清洗、转换、合并、加载等处理工作，帮助后期的数据模型分析获得规范、完整的数据源。Excel Power Query应用在Excel 2016专业增强版或更高版本中自带了Power Query数据查询组件。下图显示的是Office 2016和Office 365版本中Excel的Power Query功能。在Excel中与Power Query有关的功能都集中在功能区“数据”选项卡中，不同版本功能菜单名称略有差别：利用上面的工具我们可以开始数据加载，在进行查询编辑时，Excel会自动打开“Power Query编辑器”。这里请注意，在“编辑器”操作的时候不能操作Excel窗口，包括打开新的电子表格文件，也会因为正在打开着Power Query编辑器，而看不到新打开的文件窗口。Excel Power Query数据查询结果加载选项-Power Query上载数据选项Excel中数据查询编辑完成后，利用并加载这些数据的方法与Power BI中有很多区别。可以选择将数据返回到工作表、直接生成数据透视表、仅创建连接、加载到数据模型等加载方式。· 表：将数据查询结果返回到Excel 工作表中。Excel每张工作表有1048576行，如果数据记录行高于这个值，数据会显示不完整、表格操作速度也会受到影响。
SharePoint 列表关于大数据的测试
本文主要介绍SharePoint列表库的效率问题，一直以来以为阙值5k，超过会线性下降，需要分文件夹存放；或许这是之前版本的描述，但是2013版本通过测试，真心不是这么一回事儿。 下面，简单介绍下自己的测试过程： 1、创建一个测试列表，Data Test如下图： 2、创建控制台程序，添加插入数据代码，如下： 3、添加的代码：using (SPWeb web = site.OpenWeb()) { SPList list = web.Lists["Data Test"]; StringBuilder sbDelete = new StringBuilder(); sbDelete.Append("<?xml version=\"1.0\" encoding=\"UTF-8\"?><Batch>"); for (int i = 0; i < 2; i++) { sbDelete.Append("<Method>"); sbDelete.Append("<SetList Scope=\"Request\">" + list.ID + "</SetList>"); sbDelete.Append("<SetVar Name=\"ID\">New</SetVar>"); sbDelete.Append("<SetVar Name=\"Cmd\">Save</SetVar>"); sbDelete.Append("<SetVar Name=" + "\"urn:schemas-microsoft-com:office:office#Title\">Test Data " + i.ToString() + "</SetVar>"); sbDelete.Append("</Method>"); Console.WriteLine("Num. " + i.ToString()); } sbDelete.Append("</Batch>"); Console.WriteLine("Start Time:" + DateTime.Now.ToString()); web.ProcessBatchData(sbDelete.ToString()); Console.WriteLine("End Time:" + DateTime.Now.ToString()); Console.WriteLine("Data Insert complate..."); } 4、查看添加1w数据，耗时3分27秒，如下图： 5、查看列表设置，超出列表默认阙值，如下图：
SharePoint Content Deployment 报错 These columns don't currently have unique values
错误描述：These columns don't currently have unique values.Content deployment job 'job name' failed.The exception thrown was 'System.ArgumentException' : 'These columns don't currently have unique values.' 错误截图，如下图： 错误日志位置，如下图： 在服务器上找到错误日志的位置，是压缩包，记得找对Guid； 解压错误日志，如下图：
大数据的显著特征不包括什么
大数据的显著特征不包括数据价值密度高。大数据的显著特征数据规模大、数据类型多样、数据处理速度快。大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。特征容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息； 种类（Variety）：数据类型的多样性； 速度（Velocity）：指获得数据的速度； 可变性（Variability）：妨碍了处理和有效地管理数据的过程。真实性（Veracity）：数据的质量。 复杂性（Complexity）：数据量巨大，来源多渠道。
大数据工程师是做什么的
大数据工程师主要是对海量数据进行挖掘，分析，计算并为企业做出商业决策，发掘商业模式提供重要支持。大数据开发工程师的日常，可以精炼为3个阶段：找出过去事件的特征、预测未来可能发生的事情以及找出最优化的结果。本教程操作环境：windows7系统、Dell G3电脑。大数据的发展，目前在国外其实已经相对成熟很多了，大数据工程师，在国外也被称为是数据科学家，主要是通过数据的价值挖掘，来为企业业务提供更精准的决策依据。在电信、零售、金融、制造、物流、医疗、教育等行业当中，大数据工程师已经在创造价值了。大数据开发工程师做什么？大数据开发工程师做什么，我们从比较书面化的定义来看，就是对海量数据进行挖掘，分析，计算并为企业做出商业决策，发掘商业模式提供重要支持。简简单单一句话，但是其中涉及到的日常工作内容并不简单。大数据开发工程师的日常，可以精炼为3个阶段——找出过去事件的特征、预测未来可能发生的事情以及找出最优化的结果。这三者之间，相辅相成，资深的大数据开发工程师，能够非常熟练地进行这些动作。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。通过引入关键因素，大数据工程师可以预测未来的消费趋势。以电商为例，引入气象数据来指导电商销售，比如今年夏天不热，很可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等都可能会受其影响。大数据工程师可以通过数据分析来达到不同的目的。在过去，决策者只能依据经验进行判断，但如今大数据工程师可以为其提供数据支持。