摘要:漏洞描述 Apache Flink是一个用于分布式流和批处理数据的开放源码平台。Flink的核心是一个流数据流引擎,它为数据流上的分布式计算提供数据分发、通信和容错功能。Flink在流引擎之上构建批处理,覆盖本地迭代支持、托管内存和程序优化。近日有安全研究人员发现apache flink允许上传任意 阅读全文
posted @ 2019-11-26 09:25 独孤风 阅读 (40) 评论 (0) 编辑
摘要:一、Atlas是什么? 在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题。 大部分公司只是单纯的对数据进行了处理,而数据的血缘,分类等等却很难实现,市场上也急需要一个专注于数据治理的技术框架,这时Atlas应运而生。 Atlas官网地址: "http://atlas.apac 阅读全文
posted @ 2019-11-22 11:03 独孤风 阅读 (77) 评论 (0) 编辑
摘要:Apache Flink是什么? ​ 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎Apache Sp 阅读全文
posted @ 2019-11-18 10:20 独孤风 阅读 (73) 评论 (0) 编辑
摘要:本文使用版本基于elasticsearch 6.4.0 1、什么是ES? 官网: "http://www.elastic.co/products/elasticsearch" 中文官网:http://www.elastic.co/cn/products/elasticsearch ES是一个全文 阅读全文
posted @ 2019-11-11 09:49 独孤风 阅读 (104) 评论 (0) 编辑
摘要:全文检索技术被广泛的应用于搜索引擎,查询检索等领域。我们在网络上的大部分搜索服务都用到了全文检索技术。 对于数据量大、数据结构不固定的数据可采用全文检索方式搜索,比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。 什么是全文检索呢?先看一下百度百科的专业定义。 为了能更好的理解,我 阅读全文
posted @ 2019-10-21 09:47 独孤风 阅读 (138) 评论 (0) 编辑
摘要:Hbase的客户端有原生java客户端,Hbase Shell,Thrift,Rest,Mapreduce,WebUI等等。 下面是这几种客户端的常见用法。 一、原生Java客户端 原生java客户端是hbase最主要,最高效的客户端。 涵盖了增删改查等API,还实现了创建,删除,修改表等DDL操作 阅读全文
posted @ 2019-10-14 10:44 独孤风 阅读 (100) 评论 (0) 编辑
摘要:Hbase的表结构设计与关系型数据库有很多不同,主要是Hbase有Rowkey和列族、timestamp这几个全新的概念,如何设计表结构就非常的重要。 创建 Hbase就是通过 表 Rowkey 列族 timestamp确定一行数据。 这与关系型数据库完全不同: | 属性 | HBase | RDB 阅读全文
posted @ 2019-10-08 10:28 独孤风 阅读 (250) 评论 (0) 编辑
摘要:Hbase最核心但也是最难理解的就是数据模型,由于与传统的关系型数据库不同,虽然Hbase也有表(Table),也有行(Row)和列(Column),但是与关系型数据库不同的是Hbase有一个列族(Column Family)的概念,它将一列或者多列组织在一起,HBase必须属于某一个列族。 行和列 阅读全文
posted @ 2019-09-30 09:39 独孤风 阅读 (192) 评论 (0) 编辑
摘要:本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。 一、先决条件 1、JDK 和Hadoop一样,Hbase需要JDK1.6或者更高的版本,所以请安装好JDK并配置环境变量。 Hbase版本与JDK 阅读全文
posted @ 2019-09-29 11:00 独孤风 阅读 (135) 评论 (0) 编辑
摘要:本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。 1、大数据与Hbase 大 阅读全文
posted @ 2019-09-24 09:06 独孤风 阅读 (272) 评论 (0) 编辑