大数据，数据挖掘技术分类及应用

很多朋友对大数据，数据挖掘技术分类及应用不是很了解，每日小编刚好整理了这方面的知识，今天就来带大家一探究竟。

大数据简介大数据是指在一定时间范围内无法用常规软件工具捕获、管理和处理的数据集合。它需要新的处理模型具有更强的决策能力、洞察发现能力和流程优化能力。海量能力、高增长率、多样化的信息资产。研究机构Gartner给出了这样的定义。 “大数据”要求新的处理模式具有更强的决策力、洞察发现力和流程优化能力，以适应海量、高增长率、多元化的信息资产。

最小的基本单位是位，所有单位按顺序给出：位、字节、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据特征容量（Volume）：数据的大小决定了所考虑的数据的价值和潜在信息；

多样性：数据类型的多样性；

速度：指获取数据的速度；

可变性（Variability）：阻碍了处理和有效管理数据的过程。

准确性：数据的质量

复杂性：来自多个来源的大量数据

价值：合理利用大数据，以低成本创造高价值

数据挖掘技术的分类及应用数据挖掘技术概述基于互联网的全球信息系统的发展给了我们前所未有的丰富的数据。大量的信息在给人们带来便利的同时，也带来了很多问题：一是信息过多，难以消化；二是信息真假难以辨别；三是信息安全难以保障；第四，信息形式不一致，难以统一处理。数据丰富、知识匮乏已成为典型问题。数据挖掘的目的是从海量数据中有效地提取所需的答案，实现“数据->信息->知识->价值”的转换过程。

（数据挖掘）是指使用非平凡的方法从大量数据中提取潜在的、有价值的知识（模型或规则）的过程。该术语还有其他几个同义词：数据库中的知识发现、信息提取、信息发现、智能数据分析、探索性数据分析（信息收获、数据考古学等）。

数据挖掘是数据库研究、开发和应用中最活跃的分支。它是一个涉及数据库技术、人工智能、机器学习、神经网络、数学、统计学、模式识别和知识库技术的跨学科领域。系统、知识获取、信息抽取、高性能计算、并行计算、数据可视化等方面的知识。

数据挖掘技术从一开始就是面向应用的。它不仅仅是对特定数据库的简单搜索查询调用，而是对这些数据进行微观、中观甚至宏观的统计、分析、综合和推理，以指导实际问题的解决。试图发现事件之间的相关性，甚至利用现有数据来预测未来的活动。例如，加拿大不列颠哥伦比亚省电话公司请加拿大西蒙弗雷泽大学KDD研究小组根据十多年的客户数据总结、分析和提出新的电话计费和管理方法，并制定有利的优惠政策对公司和客户来说。这样，人们对数据的应用就可以从底层的终端查询操作提升到为各级业务决策者提供决策支持。这种需求驱动力比数据库查询更强大。同时，这里所说的数据挖掘不需要发现普遍适用的真理，也不需要发现全新的自然科学定理和纯数学公式，也不是机器定理证明。所有发现的知识都是相对的，有特定的前提和约束，并且面向特定的领域。同时必须易于用户理解，最好用自然语言表达发现结果。因此，数据挖掘的研究成果非常具有实用性。

数据挖掘技术的应用数据挖掘技术可以为决策、过程控制、信息管理、查询处理等任务提供服务。一个有趣的应用例子是“尿布和啤酒”的故事。为了分析顾客最有可能一起购买哪些产品，一家名为沃尔玛的公司使用自动数据挖掘工具分析数据库中的大量数据，意外地发现与尿布一起购买最多的产品居然是啤酒。为什么两个不相关的商品会一起购买？原来，妻子经常下班后告诉丈夫给孩子买尿布，丈夫买完尿布后带两瓶啤酒回家。由于尿布最有可能与啤酒一起购买，商店将它们放在一起，结果尿布和啤酒的销量都增加了。在这里，数字采矿技术发挥着重要作用。一般来说，数据挖掘的应用包括电信：流失；银行：集群（细分）、交叉销售；百货/超市：购物篮分析（关联规则）；保险：细分、交叉销售、流失（原因分析）；信用卡：欺诈检测、细分；电子商务：网站日志分析；税务部门：逃税检测；警察机构：犯罪行为分析；医药：保健。详情如下：

电子政务中的数据挖掘建立电子政务，推动电子政务的发展，是电子信息技术应用到政府管理中的必然趋势。实践经验表明，政府部门的决策越来越依赖于数据的科学分析。发展电子政务，建立决策支持系统，利用电子政务综合数据库存储的大量数据，建立正确的决策体系和决策支持模型，为政府决策提供科学依据。各级政府，从而提高各项政策制定的效率。科学合理，以达到提高政府办公效率、促进经济发展的目的。为此，在政府决策支持方面，需要不断

吸收新的信息处理技术，数据挖掘是政府决策支持的核心技术。基于数据挖掘的政府决策支持系统将发挥重要作用。

电子政务位居世界各国积极倡导的五条“信息高速公路”（电子政务、电子商务、远程教育、远程医疗、电子娱乐）之首，表明政府信息化是社会信息化的基础。电子政务包括政府信息服务、电子贸易、电子政务、政府部门重组、人民参与政务五个方面。将网络数据挖掘技术引入电子政务中，可以极大地提高政府信息化水平，促进整个社会的信息化。具体体现在以下几个方面：

1）政府电子商务服务器和浏览器日志中记录的数据中隐藏着模式信息。利用网络使用挖掘技术，可以自动发现系统的访问模式和用户行为模式，进行预测分析。例如，通过评估用户浏览某个信息资源的时间，我们可以判断用户对哪些资源感兴趣；根据国家或类型对日志文件中收集的域名数据进行分类和分析；应用聚类分析来识别用户的访问动机、访问趋势等。该技术已在政府电子贸易中得到有效应用。

2）网站设计可以通过挖掘网站内容（主要是文本内容）来有效组织网站信息，例如利用自动分类技术实现网站信息的分层组织；同时可以结合用户访问日志记录信息进行挖掘和把握用户兴趣，有利于开发网站信息推送服务和个人信息定制服务，吸引更多用户。

3）搜索引擎网络数据挖掘是当前网络信息检索发展的关键。例如，通过网页内容挖掘，可以对网页进行聚类和分类，实现网络信息的分类浏览和检索。同时，通过分析用户使用问题的历史记录，可以有效地扩展和改进问题。用户的检索效果；此外，利用网络内容挖掘技术改进关键词权重算法，提高网络信息的索引准确性，从而提高检索效果。

4）决策支持：为政府重大政策的出台提供决策支持。例如，通过挖掘互联网上的各种经济资源，我们可以判断未来的经济走势，并制定相应的宏观调控政策。

数据挖掘在营销中的应用数据挖掘技术在企业营销中得到了广泛的应用。它基于市场营销的市场细分原理。其基本假设是“消费者过去的行为是他们未来消费倾向的指标”。最好解释”。

通过对消费者消费行为相关的大量信息进行采集、处理和处理，可以确定特定消费群体或个人的兴趣、消费习惯、消费倾向和消费需求，进而推断相应消费群体下一步的消费行为或个人，然后以此为基础，针对识别出的消费群体进行有特定内容的定向营销。与传统不区分消费对象特征的大规模营销方式相比，这大大节省了营销成本，提高了营销效果，从而为企业带来效益。来获得更多的利润。

企业消费信息来自市场各个渠道。例如，每当我们使用信用卡进行购物时，商业企业可以在信用卡结算过程中收集商业消费信息，记录我们消费的时间和地点、我们感兴趣的商品或服务等数据，我们愿意接受的价格水平以及我们的支付能力。当我们申请信用卡、申请驾驶执照、填写产品保修单以及其他需要填写表格的场合时，我们的个人信息会存储在相应的业务数据库中；企业除了自行收集相关商业信息外，甚至可以从其他公司或组织购买此类信息供自己使用。

这些来自不同渠道的数据和信息利用超级计算机、并行处理、神经网络、建模算法和其他信息处理技术进行组合和处理，以获得商家可以用来对特定消费群体或个人进行定向营销的决策。信息。这些数据信息如何使用？举个简单的例子，当银行挖掘业务数据，发现银行账户持有人突然要求申请两人联名账户，并确认这是消费者第一次申请联名账户时，银行会推断用户可能想结婚，就会向用户推广有针对性的长期投资服务，比如买房、支付孩子学费等。银行甚至可能将这些信息出售给某家公司专门从事婚礼用品和服务。数据挖掘建立竞争优势。

在市场经济相对发达的国家和地区，许多企业开始在原有信息系统的基础上，通过数据挖掘对业务信息进行深度加工，以构建自身的竞争优势，扩大营业额。美国运通有一个用于记录信用卡业务的数据库，数据量为54亿字符，并且仍在随着业务的进展而更新。通过挖掘这些数据，美国运通制定了“关系计费优惠”的促销策略，即如果顾客使用美国运通卡在一家商店购买了一套时尚单品，那么他就会在该商店购买一双鞋子。同一家商店。可以获得比较大的折扣，不仅可以增加商店的销量，还可以提高美国运通卡在商店的使用率。又例如，如果居住在伦敦的持卡人最近乘坐英国航空飞往巴黎的航班，他可能会获得一张周末飞往纽约航班的折扣卡。

基于数据挖掘的营销往往可以向消费者发送与其以往消费行为相关的促销材料。食品公司卡夫通过收集对公司发放的优惠券和其他促销活动做出积极反应的顾客和销售记录，建立了一个包含3000 万顾客的数据库。深入了解特定客户的兴趣和口味，并以此为基础向他们发送特定产品的优惠券，并推荐符合客户口味和健康状况的卡夫产品配方。美国《读者文摘》出版公司运营着一个积累了40年的商业数据库，其中包含了全球超过1亿订阅者的信息。数据库每天24小时连续运行，保证数据持续实时更新。更新，基于客户信息数据库数据挖掘的优势，读者文摘出版公司已经能够从大众化杂志拓展到专业杂志、图书和音像制品的出版发行业务，业务范围大大拓展。

基于数据挖掘的营销对于我国当前的市场竞争也很有启发。我们经常可以看到一些厂家在繁华的商业街上，不加区分地向路人散发大量的产品促销广告。结果，不必要的人会随意丢弃信息，而需要的人却不一定能得到。如果从事家电维修服务的公司向刚到商店购买家电的消费者邮寄维修服务广告，或者销售特殊药品的厂家向到医院特定门诊就诊的患者邮寄广告，效果肯定会好得多。而不是漫无目的的营销。

零售行业的数据挖掘可以通过条码、编码系统、销售管理系统、客户数据管理等业务数据收集产品销售信息、客户信息、库存单位和商店信息。数据从各种应用系统收集，根据条件分类，放置在数据仓库中，供高级管理人员、分析师、采购人员、营销人员和广告商访问数据。 DM工具用于分析这些数据，为他们提供高效的科学决策工具。例如，对产品进行购物篮分析，以分析客户最有可能一起购买哪些产品。例如，沃尔玛的《啤酒与尿布》这一被业界和商界传诵的经典，就是数据挖掘利用数据寻找人与物之间模式的典型例子。在零售应用领域，使用DW和DM在很多方面都会有优异的表现：

1、了解整体销售情况：通过分类信息——，按产品类型、销售数量、门店位置、价格和日期等了解日常经营和财务情况，并可以监控每一次销售的增长、库存的变化、通过促销活动增加了销售额。知道一切。零售店销售商品时，随时检查产品结构是否合理非常重要，比如各品类的经营比例是否大致相等。在调整产品结构时，必须考虑季节变化引起的需求变化、竞争对手产品结构的变化等因素。

2、产品分组布局：分析顾客的购买习惯，考虑购买者经过商店的路线、购买时间和地点，掌握不同产品一起购买的概率；通过产品销售品种的活跃度分析和相关性分析，运用主成分分析方法建立产品设置的最优结构和产品的最优布局。

3降低库存成本：通过数据挖掘系统，集中销售数据和库存数据，通过数据分析确定各种商品、颜色的增减，确保库存正确。数据仓库系统还可以通过电子数据交换（EDI）将库存信息和产品销售预测信息直接发送给供应商，从而消除了商业中介的需要，并且供应商负责定期补充库存，因此零售商可以减少自己的库存。负担。

4市场和趋势分析：利用数据挖掘工具和统计模型仔细研究数据仓库中的数据，分析客户购买习惯、广告成功率和其他战略信息。通过数据仓库检索数据库中近几年的销售数据进行分析和数据挖掘，可以预测季节性和月度销售情况，分析产品品种和库存的趋势。还可以确定降价并就数量和运营做出决策。

有效的产品促销：通过分析制造商产品在各连锁店的市场份额、顾客统计和历史情况，可以确定销售和广告业务的有效性。通过对顾客购买偏好的分析，确定产品促销的目标顾客，并据此设计各种产品促销方案。通过产品购买相关性分析的结果，利用交叉销售和追加销售的方式挖掘客户购买力，实现产品的精准推广。

银行业财务数据挖掘需要大量数据的采集和处理。由于银行在金融领域的地位、工作性质、业务特点以及激烈的市场竞争，其对信息化、电子化的要求比其他领域更为迫切。利用数据挖掘技术可以帮助银行产品开发部门描述过去的客户需求趋势并预测未来。美国商业银行是发达国家商业银行的典范，很多方面值得我国学习和借鉴。

数据挖掘技术广泛应用于美国银行的金融领域。财务事务需要收集和处理大量数据，对这些数据进行分析，发现数据模式和特征，进而了解某个客户、消费群体或组织的财务和商业利益，并对变化趋势进行观察在金融市场。商业银行的利润与风险并存。为了保证利润最大化、风险最小化，必须对账目进行科学分析、分类，进行信用评估。梅隆银行使用数据挖掘软件来提高住房贷款等金融产品的销售和定价的准确性。零售信贷客户主要有两类：很少使用信用额度的客户（低回收商）和能够维持高未偿余额的客户（高回收商）。每个类别都代表着销售挑战。低循环者的违约风险和产生冲销费用的风险较低，但产生的净收入或负收入很少，因为他们的服务成本几乎与高循环者相同。银行经常向他们提供计划，鼓励他们更多地使用信贷额度或寻找交叉销售高利润产品的机会。高循环仪由高危险和中危险部件组成。高风险部分有可能支付违约费和冲销费。对于中等风险细分市场，销售计划的重点是保留可盈利的客户并获取可带来相同利润的新客户。但根据新的观点，用户行为会随着时间而变化。分析客户在整个生命周期中的成本和收入可以揭示谁拥有最大的利润潜力。

梅隆银行认为，“针对某一细分市场量身定制”可以识别最终用户，并将市场瞄准这些用户。然而，要做到这一点需要了解最终用户的特征。数据挖掘工具为梅隆银行提供了访问此信息的权限。梅隆银行销售部门使用Intelligence Agent 在高级数据挖掘项目中查找信息。主要目的是确定现有梅隆用户购买特定附加产品的倾向：家庭一般信用额度。该工具可用于生成检测模型。据银行官员介绍：数据挖掘可以帮助用户增强商业智能，例如关联、分类或回归分析。依靠这些能力，可以针对购买银行产品、服务和服务倾向较高的客户进行定向推广。官方认为该软件可以反馈高质量的信息进行分析和决策，然后输入到产品的算法中。数据挖掘还具有可定制的功能。

美国Firstar 银行使用数据挖掘工具，根据客户的消费模式来预测何时为客户提供哪些产品。第一银行市场研究和数据库营销部经理发现，每个消费者的大量信息都存储在公共数据库中。关键是要彻底分析消费者投资新产品的原因，并在数据库中找到一种模式，以便为每个新产品找到最佳消费者。数据挖掘系统可以读取800到1000个变量并为其赋值，根据消费者是否拥有房屋净值贷款、签账卡、存单或其他储蓄和投资产品将其分为几组，然后使用数据挖掘预测何时向每个消费者提供哪种产品的工具。预测潜在客户的需求是美国商业银行的竞争优势。

数据挖掘在证券行业的典型应用包括：

1、客户分析

建立数据仓库，存储所有客户、预定义客户群、特定客户的信息和交易数据，通过对这些数据的挖掘和关联分析，实现面向主题的信息提取。对客户的需求模式和利润价值进行分类，找出最具价值和利润潜力的客户群体以及他们最需要的服务，更好地配置资源，改进服务，牢牢抓住最有价值的客户。

通过多角度挖掘客户资源信息，了解客户各项指标（如资产贡献、忠诚度、盈利能力、持仓比例等），掌握客户投诉、客户流失等信息，从而捕捉到客户面前的信息离开证券公司。及时采取措施留住客户。

2、咨询服务

基于市场和交易数据的收集，结合市场分析，预测未来市场趋势，发现交易条件随着市场变化而变化的规律，并根据这些规律进行趋势分析，为客户提供有针对性的咨询。

3、风险防范

通过资本数据分析，可以控制经营风险，改变公司总部原有的资本控制模式。通过横向比较可以及时了解资金状况，起到风险预警的作用。

4、 经营状况分析

通过数据挖掘，可以及时了解经营状况、资金情况、利润情况、客户群分布等重要信息。并结合市场走势，提供不同市场情况下利润最大化的操作方法。同时，通过各业务部门经营状况的横向比较和业务部门历史数据的纵向比较，分析业务部门的经营状况并提出业务建议。

电信行业中的数据挖掘电信行业已经从单纯提供本地和长途服务迅速发展到语音、传真、寻呼、移动电话、影像、电子邮件、计算机和WEB数据传输等数据通信的综合电信服务。服务。电信、计算机网络、互联网以及其他各种形式的通信和计算的融合是当前的大趋势。而且，随着许多国家电信业的开放以及新兴计算和通信技术的发展，电信市场正在迅速扩大，竞争日益激烈。因此，有必要利用数据挖掘技术来帮助了解业务行为、确定电信模式、捕获盗窃行为、更好地利用资源、提高服务质量。分析师可以分析呼叫来源、呼叫目的地、呼叫量和日常使用模式等信息。他们还可以进行挖掘来分析挪用模式并识别异常模式，以便尽早发现挪用行为，减少公司的损失。

移动通信领域的数据挖掘是针对信息化应用的。移动通信行业信息化进程得到长足发展和广泛应用。运营网络系统、综合业务系统、计费系统、办公自动化等系统相继投入使用，为计算机应用系统提供了基础。运行过程中积累了大量历史数据。然而，在很多情况下，这些海量数据无法在原有操作系统中提炼、升华成有用的信息，提供给业务分析师和管理决策者。一方面，在线操作系统因需要保留足够详细的数据进行查询而变得笨重，系统资源的投入跟不上业务扩展的需要；另一方面，管理者和决策者只能依靠固定的、定期的报告系统获取有限的经营和业务信息，无法适应激烈的市场竞争。

随着中国政府对电信行业的进一步开放和政策约束的调整，以及客户对电信服务质量要求的提高和欺诈、欺诈因素的增多，移动通信的运营面临着更加严峻的挑战。情况复杂，运营成本高。振幅增加。因此，在激烈的市场竞争条件下，如何充分利用现有设备降低成本、提高效率，同时满足客户需求、提供优质服务已成为决策者共同关心的话题。

根据国外电信市场的发展经验和历史，电信企业在市场竞争中的成功管理是：（1）以高质量的服务留住现有客户； （2）提高通话量和设备利用率，与他人竞争，以更低的成本赢得新客户，扩大市场份额； （3）放弃无利可图、信用不良的客户，降低经营风险和成本。

对于一个相对成熟的移动通信运营商来说，各个运营支撑系统积累的海量历史数据无疑是一笔宝贵的资产，而数据挖掘是充分利用这些宝贵资源实现上述三个目标的最有效途径。有效的方法和手段。

运动领域数据挖掘1、 物理数据分析

目前，我国非常重视健康和提高体质，每年都会有很多相关的体质测试。就这样，年复一年地积累了大量的数据，而对这些数据的分析几乎都是统计方法，包括很多单位的运动分析和评价软件。主要分析物理数据的平均值并应用规定的评价公式。评估与分析。显然，它们对体育运动中体能数据的分析做出了一定的贡献，但它们的作用只能局限于比较数据本身的大小，而产生的结果通常只有专业人士才能理解，而且只有统计方法用于挖掘数据。他们之间的联系也非常有限。

使用数据挖掘来挖掘物理数据可以很容易地产生用统计方法难以达到的结果。例如，基于积累和持续收集的数据，结合体质数据和营养知识，可以挖掘不同地区体质好坏的营养原因；同样，根据体质数据和医学知识，可以挖掘不同地区体质好坏的营养原因。人们的健康状况，甚至分析可能导致健康状况降低的疾病原因，可以更好地为人们在自我保健、健身等各方面提供有力指导；另外，利用数据挖掘对著名运动员的早期身体数据进行分析，通过分析可以找出他们的共同特征，从而为运动选择提供有力的依据。体能数据库就像一个宝矿。利用数据挖掘技术，可以挖掘出许多难以想象的宝藏。

2、 体育产业应用

数据挖掘最初的应用是在商业领域，而体育产业本身就是一个典型的商业领域。在一般商业数据挖掘中，DM技术确定谁是他们最有价值的客户，并重新制定他们的产品促销策略（将产品促销给最需要的人），以便以最小的成本获得最好的销售。以体育广告为例，可以挖掘国内从事不同体育项目的体育广告企业的数据库。例如，如果您发现做某些类型体育广告的单位或公司的特征，您就可以向那些具有这些特征但尚未成为我们特征的人提供信息。客户的其他公司或单位推广此类体育广告；同样，如果通过挖掘发现流失客户的共同特征，就可以在那些具有相似特征的客户流失之前进行有针对性的补偿。这样可以在一定程度上提高体育广告的效果。因此，及时有效地利用DM可以为我国的体育产业创造更多的财富。

3、 在竞技体育中的应用

竞技体育，尤其是对抗性的体育运动，通常不仅需要运动员较高的实际水平，而且战术策略也非常重要。有时比赛中的战术甚至起到决定性的作用。国外实现了数据挖掘的功能后，已将其应用到竞技体育中。例如，美国著名国家篮球队NBA的教练使用IBM提供的数据挖掘工具来协助决定现场更换球员，并取得了良好的效果。系统分析显示，魔术队首发阵容中有两名后卫，安弗尼。安芬尼哈达威和博兰。布莱恩肖前两场比赛的评分为-17分，这意味着球队输掉的分比场上得分多了17分。然而，当哈德巴克和替补后卫达里尔一起上场时。当达雷尔阿姆（Darrell Arm，strong）合并时，魔术队得分增加了14分。接下来的比赛，魔术队增加了阿姆斯特朗的上场时间。这一举动果然得到了回报：阿姆斯得到21分，哈德得到42分，魔术队以88-79获胜。魔术队在第四场比赛中让阿姆斯特朗首发，并再次击败了热火队。在第五场比赛中，这套数据挖掘支持的阵容未能阻止热火队，但数据挖掘帮助魔术队赢得了整个五场比赛，直到最终决定。目前，大约有20支NBA球队使用IBM开发的软件系统来优化他们的战术组合。同样，数据挖掘技术也可以用于分析足球、排球等类似的对抗性运动，找出对手的弱点，制定更有效的战术。

邮政行业数据挖掘中国邮政建立了国内最大的物流交换系统，也积累了大量的用户数据。如何利用这些用户数据，通过数据分析，为邮政业务的发展提供科学的决策依据，是邮政部门非常关心的问题。问题。数据挖掘技术可以很好地为邮政部门解决上述问题。利用该技术可以进行客户存款余额分析、客户存款结构分析、平均存款利率分析、不同存款类型余额分析、不同存款类型客户分析、存款催收等。统计分析、业务量统计分析等。我们以客户存款分析来介绍。分析所采用的维度包括： 营业网点区域：以区域为分析维度，可以判断各储蓄银行的业绩；客户年龄：存款余额统计是按照客户的年龄段进行的，从年龄段可以分析客户是好客户，哪些客户是未来发展的重点。客户地址：根据客户所在地区进行存款余额统计，可以分析各地区的经济状况以及人们对邮政储蓄的认识，从而为未来业务拓展提供依据；存款用途：居民储蓄存款用途广泛。但了解定期存款的用途，一方面可以帮助邮储及时想到客户，缩短与客户的距离；另一方面可以帮助邮储银行及时了解定期存款的用途。另一方面，可以为新业务的拓展提供有力的信息；时间段：通过此分析，可以及时掌握客户储蓄的变化规律，从而对邮政业务进行适当调整。

以上知识分享希望能够帮助到大家！