flume过滤器

❶ flume拦截器 是什么设计模式

学习抄flume以来，实现了日志的多来源自动抽取和多target的自动发送等，但是一直以来的数据清洗过程一直是放在hadoop中用MR程序定时进行清洗的，有没有一种方式编程能够直接在flume中来进行相关的数据清洗数据匹配，过滤掉那些不规范的脏数据，于是决定打这个flume拦截器的主义，觉得只要把代码稍微改改，从拦截body开始自定义intercepter编程完成每个body字符串的解析字段的正则提取和拼接，我们自定义的这个类叫：LogAnalysis 如下：

package com.besttone.interceptor;

import com.google.common.base.Charsets;
import com.google.common.collect.Lists;
import org.apache.commons.lang.StringUtils;
import org.apache.flume.Context;
import org.apache.flume.Event;

❷ spark读取kafka数据，之后进行过滤，过滤后计算有多少条数据怎么写

spark读取kafka数据，之来后进行过滤，过自滤后计算有多少条数据怎么写
前面应该还有个数据生产者，比如flume. flume负责生产数据，发送至kafka。 spark streaming作为消费者，实时的从kafka中获取数据进行计算。 计算结果保存至redis，供实时推荐使用。 flume+kafka+spark+redis是实时数据收集与计算的一套经典架构

❸ org.apache.flume.event属于哪个包

学习flume以来，实现了日志的多来源自动抽取和多target的自动发送等，但是一直以来的数据清专洗过程一直是放在属hadoop中用MR程序定时进行清洗的，有没有一种方式编程能够直接在flume中来进行相关的数据清洗数据匹配，过滤掉那些不规范的脏数据

❹ flume event 的body大小怎么修改

学习flume以来，实现了日志的多来源自动抽取和多target的自动发送等，但是一专直属以来的数据清洗过程一直是放在hadoop中用MR程序定时进行清洗的，有没有一种方式编程能够直接在flume中来进行相关的数据清洗数据匹配，过滤掉那些不规范的脏数据，于是决定打这个flume拦截器的主义，觉得只要把代码稍微改改，从拦截body开始自定义intercepter编程完成每个body字符串的解析字段的正则提取和拼接，我们自定义的这个类叫：LogAnalysis 如下：

package com.besttone.interceptor;

import com.google.common.base.Charsets;
import com.google.common.collect.Lists;
import org.apache.commons.lang.StringUtils;
import org.apache.flume.Context;
import org.apache.flume.Event;