您当前的位置:首页 > 互联网百科 > 大数据

这些数据开发的术语,你都知道吗?

时间:2022-08-29 16:31:09  来源:今日头条  作者:华夏金领大数据

数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。

一、数据仓库:架构

1.数据仓库 Data Warehouse,DW

数据仓库是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。

2.数据集市

①数据集市 Data Mart,DM

②操作集市 Oper Mart

3.ODS 操作数据存储Operational Data Storage,ODS

4.ETL Extract-Transform-Load

一、数据仓库:抽象

1.主题

①主题Subject

②主题域Subject Area

2.主体

3.模型

①模型Model

②数据模型Data Model

③业务数据模型Business Data Model

④逻辑数据模型Logical Data Model,LDM

⑤物理数据模型Physical Data Model,PDM

⑥实体Entity

⑦关系RelatIOShip

⑧属性Attribute

⑨实体关系Entity Relationship,ER

⑩事实Fact

⑪维度Dimension

⑫维的层次Hierarchy of Dimension

⑬维的级别Level of Dimension

⑭维的成员Level of Dimension

⑮业务过程Business Process

⑯度量Measure

⑰指标Metric

⑱指示器Indicator

⑲粒度Grain

⑳度量值Measures

一、数据仓库:建模

1.模型查询

①即席查询Ad Hoc Queries

②冰山查询 Iceberg Query

③交叉探察 Drill Across

④实体建模Entity Modeling

⑤范式建模Third Normal Form,3NF

⑥维度建模Dimensional Modeling、总线架构Bus Architecture、一致性维度Comformed Dimension、一致性事实Comformed Fact

2.事实表

①事实表Fact Table

以粒度的不同来化分,事实表可以分为三类,分别是事务粒度事实表,周期快照粒度事实表和累积快照粒度事实表。

①事务粒度事实表Transaction Grain Fact Table

②周期快照粒度事实表Periodic Snapshot Grain Fact Table

③累积快照粒度事实表AccumulatingSnapshot Grain Fact Table

以用途的不同来化分,事实表可以分为三类,分别是原子事实表,聚集事实表和合并事实表。

①原子事实表Atom Fact Table

②聚集事实表Aggregated Fact Table

③合并事实表Consolidated/Merged Fact Table

其他类型事实表

①非事实型事实表Factless Fact Table

②蜈蚣事实表Centipede Fact Table

③旋转事实表Pivoted Fact Table

④切片事实表Sliced FactTable

⑤稀疏事实表Sparse Facts

3.维度表

①维度表Dimension Table

②代理关键字 Surrogate Key

③缓慢变化维度SlowlyChanging Dimension SCD

④退化维度Degenerate Dimension

⑤微型维度-Minidimension

⑥多值维度Multivalue Dimension

⑦角色模仿维度RolePlayingDimensions

⑧杂项维度Junk Dimension

4.宽表

宽表Wide table

在维度建模的基础上又分为三种模型:星型模型、雪花模型、星座模型。

星型模式:星型模式StarSchema

雪花模式:雪花模式SnowflakeSchema

星座模式:事实星座模式FactConstellation或星系模式galaxy schema

5.数据分析 BI

商业智能BusinessIntelligenceBI

OLTP

联机事务处理Online Transaction Processing,OLTP

OLAP

①大规模并行计算框架Massively Parallel Processing,MPP

②联机分析处理OLAPOnlineAnalytical Processing,OLAP

③MOLAP

④ROLAP

⑤HOLAP

6.多维分析

①多维分析MultidimensionalAnalvsis

②立方体Cube

③钻取 Drill Down

④上卷Roll Up

⑤切片Slice

⑥切块(Dice

⑦旋转Pivot

二、数据挖掘:机器学习

①机器学习machineLearning

②标签Lable

③特征Feature

④样本Example

⑤模型Model

⑥策略Strategy

⑦算法Algorithm

⑧监督学习Supervised Learning

⑨回归Regression

⑩分类Classification

⑪无监督学习Unsupervised Learning

三、深度学习

深度学习DeepLearning



Tags:数据开发   点击:( )  评论:( )
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:[email protected]),我们将及时更正、删除,谢谢。
▌相关推荐
数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。一、数据仓库:架构1.数据仓库 Data Warehouse,DW数据仓库是构建面向分析的集成化数据环境,为企业...【详细内容】
2022-08-29  Tags: 数据开发  点击:(0)  评论:(0)  加入收藏
架构是数据仓库建设的总体规划,从整体视角描述了解决方案的高层模型,描述了各个子系统的功能以及关系,描述了数据从源系统到决策系统的数据流程。业务需求回答了要做什么,架构就...【详细内容】
2021-11-03  Tags: 数据开发  点击:(142)  评论:(0)  加入收藏
本人03年开始从事贸易行业,多年来一直致力于外贸获客和跨境电商选品等领域,最近有些小伙伴反馈海关数据演示的都挺好为啥用起来不是那么回事?大家看到数据时关注的有产品、采购...【详细内容】
2021-10-28  Tags: 数据开发  点击:(103)  评论:(0)  加入收藏
本期给大家带来的是Yarn的工作原理相关知识点,作为大数据开发中众多框架中的一个,Yarn为什么会如此重要以至于要单独开一期来说?下面就为你揭晓Yarn的工作原理! 一、什么是Yar...【详细内容】
2021-04-26  Tags: 数据开发  点击:(239)  评论:(0)  加入收藏
本期给大家带来的是JAVA基础中的JDBC,JDBC全称:Java DataBase Connectivity Java 数据库连接, Java语言操作数据库,说白了就是用Java语言来操作数据库。在大数据开发基础中也是...【详细内容】
2021-03-16  Tags: 数据开发  点击:(217)  评论:(0)  加入收藏
> Photo by Hendri Sabri on Unsplash介绍自从我参与DevOps和大数据以来,我一直在使用两种出色的但完全不同的编程语言:Go和Scala。Scala是一种较旧且更成熟的编程语言,已在并...【详细内容】
2020-11-24  Tags: 数据开发  点击:(155)  评论:(0)  加入收藏
一.JDK1.8安装从apache官网上下载JDK1.8.x安装包: 安装过程中指定具体的安装路径,尽量不使用默认路径! 配置系统参数: 编辑Path,添加JAVA配置: 二.安装Scala编程语言 配置Scal...【详细内容】
2020-11-19  Tags: 数据开发  点击:(177)  评论:(0)  加入收藏
作者:xmxiong,PCG 运营开发工程师数据仓库的数据统计,可以归纳为三类:增量类、累计类、留存类。而累计类又分为历史至今的累计与最近一段时间内的累计(比如滚动月活跃天,滚动周活...【详细内容】
2020-09-15  Tags: 数据开发  点击:(137)  评论:(0)  加入收藏
目录:1.典型需求2.40K以上专家必备技能3.项目中的迷宫场景部件制作4.Hadoop生态核心原理一、典型需求(互联网公司) 二、40K以上专家必备技能 三、大数从业者角色分...【详细内容】
2020-04-23  Tags: 数据开发  点击:(151)  评论:(0)  加入收藏
5G的到来将催生万物互联,从互联网到移动互联网再到5G物联网,全新的生产生活方式即将到来;5G的市场规模过万亿,大数据、人工智能、自动驾驶、物联网、云计算、AR/VR等将基于5G得...【详细内容】
2020-03-12  Tags: 数据开发  点击:(208)  评论:(0)  加入收藏
▌澳门威斯尼斯人app官方下载推荐
数据开发技术方向主要有数据仓库、在线分析处理(OLAP)以及数据挖掘三部分组成。一、数据仓库:架构1.数据仓库 Data Warehouse,DW数据仓库是构建面向分析的集成化数据环境,为企业...【详细内容】
2022-08-29  华夏金领大数据  今日头条  Tags:数据开发   点击:(0)  评论:(0)  加入收藏
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是一个开源机器学习和数据可视化工具——ora...【详细内容】
2022-08-25  互联网资讯看板   网易  Tags:数据可视化   点击:(10)  评论:(0)  加入收藏
近几年,因为数据分析行业的繁荣,很多人选择入行或者转行做数据分析。比较突出的表现就是在知乎上搜索数据分析,出现的大多是关于如何转行数据分析的提问。但是,小编想说,在你对一...【详细内容】
2022-08-25  互联共商   网易  Tags:数据分析   点击:(7)  评论:(0)  加入收藏
先说观点:因为还没找到更好的。接下来说原因,首先来看看大数据平台都在干什么。原因结构化数据计算仍是重中之重大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存...【详细内容】
2022-08-25  大数据推荐杂谈    Tags:大数据平台   点击:(10)  评论:(0)  加入收藏
随着互联网技术的日新月异,内容数据逐渐在各行业的业务中占据更重要的地位。日常的业务过程中,需要处理的大量电子文档、图片、音频、视频等,都属于内容数据范畴。例如,某银行的...【详细内容】
2022-08-24  正正杂说    Tags:数据   点击:(9)  评论:(0)  加入收藏
其实大数据行业发展到现在,最大的痛点并不是数据的可视化和分析问题。而是庞大业务数据的预处理。 NO.1 80%-90%的项目时间大量花费在将不同来源的业务系统中的数据传输到同...【详细内容】
2022-08-18  莱牛教育    Tags:大数据   点击:(22)  评论:(0)  加入收藏
从以下几个方面来看数据分析思维及其方法论: 去餐厅吃饭师,如果你仔细观察的话,餐厅大致可以分为以下两类付费模式:1)使用大众点评优惠吸引用户结账2)直接使用微信或支付宝结账 这...【详细内容】
2022-08-10  猴子数据分析    Tags:数据分析   点击:(13)  评论:(0)  加入收藏
这几年愈演愈烈的大数据杀熟,也让消费者苦不堪言,一些电商平台给用户贴标签,美其名曰”推荐用户会喜欢的商品”,实际上,一旦某一个种类被打上高价消费标签,那么出现的其他种类也会...【详细内容】
2022-08-08  度说那些事儿    Tags:大数据   点击:(21)  评论:(0)  加入收藏
在生活中我们大家有时候肯定会因为搬家而烦恼,但是那些搬家公司可以为我们解决这些问题,今天我们讲的Yarn在Hadoop集群中就起到了这样的作用,来负责资源调度Yarn 5.Yarn的调度...【详细内容】
2022-08-04  Java热点    Tags:大数据   点击:(21)  评论:(0)  加入收藏
2022-07-22  羊洋阳氧    Tags:大数据   点击:(32)  评论:(0)  加入收藏
站内最新
站内热门
站内头条