filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志
filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志 配置信息如下： IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10...
View ArticleClik here to view.
ES7+kibana7解决geoip的location不为geo_point格式,无法建可视化地图
ES7+kibana7解决geoip的location不为geo_point格式,无法建可视化地图 by: 铁乐猫 环境： ELK各组件均为7.0版本 出现问题的索引名称为tielemao_web_log* 问题： 使用了geoip插件，入库的索引中location仍不是geo_point格式，以致想做地图经纬度的展示时做不了。 原因: 默认的log_template模板中没有任何匹配。...
View ArticleClik here to view.
filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志IP并将IP地图化展示
filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志IP并将IP地图化展示 1，配置信息如下： IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10...
View ArticleClik here to view.
使用kibana7创建elastic7的采集节点管理-数据预处理管道GeoIP processor
使用kibana7创建elastic7的采集节点管理-数据预处理管道GeoIP processor GeoIp processor 根据来自 Maxmind 数据库的数据添加有关IP地址地理位置的信息。 默认情况下，GeoIp processor 将此信息添加到 geoip 字段下。GeoIp processor 可以解析 IPv4 和 IPv6 地址. Elasticsearch7已经自带插件。...
View Articlelogstash将两个field字段合并成一个field字段方法
logstash将两个field字段合并成一个field字段方法格式化一个日志，日期不好取，分成了两个字段。后来date又支持一个字段date { match => ["time", "yyyy-MM-dd HH:mm:ss.SSS" ] }mutate的merger没用，时把两个字段合成数组了。最后找到了方案，用alteralter{ add_field =>...
View ArticleClik here to view.
基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化
基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化 1、需求 有一批特定用途（文末揭晓）的 IP 地址。 想通过地图形式可视化展示 IP 地址对应的经纬度坐标的分布。 2、方案探讨 基础方案如下： 第一步：IP 地址转经纬度坐标。 实现借助第三方工具：https://ipstack.com/ 第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。...
View ArticleElasticsearch:借助GeoIP数据库来实现显示请求来源的地理位置
Elasticsearch:借助GeoIP数据库来实现显示请求来源的地理位置借助GeoIP数据库来实现显示请求来源的地理位置，GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等。获取GeoIP数据库wget...
View ArticleClik here to view.
filebeat + logstash 对message提取指定字段
filebeat + logstash 对message提取指定字段 说明 filebeat中message要么是一段字符串，要么在日志生成的时候拼接成json然后在filebeat中指定为json。但是大部分系统日志无法去修改日志格式，filebeat则无法通过正则去匹配出对应的field，这时需要结合logstash的grok来过滤，架构如下： 实例说明： 以系统登录日志格式为例：...
View ArticleClik here to view.
HDFS 文件块大小设置
Hadoop HDFS 文件块大小 HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksiz）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。 1）集群中的block 2）如果寻址时间约为10ms，即查找到目标block的时间为 blockd 10ms。 3）寻址时间为传输时间的1%时，则为最佳状态。（专家）...
View ArticleClik here to view.
Hadoop HDFS 写数据与读数据流程
Hadoop HDFS 写数据流程（1）客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。（2）NameNode 返回是否可以上传。（3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。（4）NameNode 返回 3 个 DataNode 节点，分别为...
View ArticleClik here to view.
Hadoop3 NameNode 和 SecondaryNameNode工作流程原理
Hadoop3 NameNode 和 SecondaryNameNode工作流程 NN 和 2NN 工作机制思考：NameNode 中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在 NameNode...
View ArticleClik here to view.
Clik here to view.
hadoop3.x-Yarn基础架构与工作机制
hadoop3.x-Yarn基础架构与工作机制Yarn 基础架构YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。（1）MR 程序提交到客户端所在的节点。（2）YarnRunner 向 ResourceManager 申请一个 Application。（3）RM 将该应用程序的资源路径返回给...
View ArticleRedhat7.7中安装CDP DC7.0.3
如何在Redhat7.7中安装CDP DC7.0.3 一：关于CDP DC 7.0.3 概述 二： 系统环境初始化 三： 构建CDP DC 7.0.3 一： 关于CDP DC 7.0.3 概述 1.1 CDP dc 7.0.3CDP DC7.0.3是Cloudera与Hortonworks合并后，第一个融合CDH和HDP全部组件的on-premise版本，CDP Data...
View Article相关CDH/CM资源网盘下载
所有资源免费下载 !!! 不收费!!! 不收费!!! 不收费!!!你好！ 由于现在CDH官方需要订阅付费才能下载相关CDH/CM等资源 , 收录了以下几个版本的资源 , CDH以下为 CDH 资源下载链接CDH-6.3.2 链接 : https://pan.baidu.com/s/1Vd9ZaXcKG0JDCDszTtasjQ 提取码 : oycp CDH-6.3.1 链接 :...
View ArticleClik here to view.
Hadoop3.x DataNode工作机制-尚硅谷资料
Hadoop3.x DataNode工作机制-尚硅谷资料 DN 向 NN 汇报当前解读信息的时间间隔，默认 6 小时； <property> <name>dfs.blockreport.intervalMsec</name> <value>21600000</value>...
View ArticleClik here to view.
Hadoop3.x 作业提交全过程-尚硅谷资料
Hadoop3.x 作业提交全过程-尚硅谷资料 作业提交全过程详解 （1） 作业提交 第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。 第 2 步：Client 向 RM 申请一个作业 id。 第 3 步：RM 给 Client 返回该 job 资源的提交路径和作业 id。 第 4 步：Client 提交...
View ArticleClik here to view.
CDP/CDH 7.1.4 大数据平台搭建
CDP/CDH 7.1.4 大数据平台搭建 Centos7安装CDP/CDH 7.1.4具体看附件内容 CDP/CDH 7.1.4 大数据平台搭建-新手指南.pdf
View Article