加载中…
个人资料
云涛
云涛
  • 博客等级:
  • 博客积分:0
  • 博客访问:237,264
  • 关注人气:26
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
访客
加载中…
好友
加载中…
评论
加载中…
留言
加载中…
博文
标签:

flume

分类: 云 大数据


官方网址:http://flume.apache.org/

1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。
2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。
3.agent里面包含3个核心组件:source、channel、sink。
3.1 source组件是专用于收集日志的,可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。
    source组件把数据收集来以后,临时存放在channel中。
3.2 channel组件是在agent中专用于临时存储数据的,可以存放在memory、jdbc、file、自定义。
    channel中的数据只有在sink发送成功之后才会被删
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2016-07-04 07:50)
标签:

pig

分类: 云 大数据
1对wlan数据如何使用pig进行分析处理

1.1 把待处理的数据上传到HDFS中

1.2 把HDFS中的数据转换为pig可以处理的模式
  
 A = LOAD '/wlan' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);

DUMP A




1.3 把里面的有用的字段抽取出来
  
   B = FOREACH A GENERATE msisdn, t6, t7, t8, t9; 

   DUMP B
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
直接上链接。
这里写的很详细了
http://www.cnblogs.com/meiyuanbao/p/hadoop2.html
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

1.安装CentOS 

2.安装JDK

执行以下命令解压缩jdk

     tar -zxvf  jdk-7u45-linux-x64.tar.gz 

会生成一个文件夹jdk1.7.0_45,然后设置环境变量中。

执行命令 vi /etc/profile

保存退出文件后,执行以下命令

     source  /etc/profile 
     java -version 

 

3.安装maven

执行以下命令解压缩jdk

     tar -zxvf  apache-maven-3.0.5-bin.tar.gz 

会生成一个文件夹apache-maven-3.0.5,然后设置环境变量中。

执行命令vi  /etc/profile

保存退出文件后,执行以下命令

     source  /etc/profile 
     mvn -version 

4.安装findbugs(可选步骤)

执行以下命令解压缩jdk

     tar -zxvf  findbugs-3.0.0-dev-2013120
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

cas流程原理

分类: CAS
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2015-11-21 15:50)
标签:

shiro

shiro标签

分类: Security



阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2015-11-21 15:47)
标签:

过滤器

分类: Security

过滤器简称

对应的java类

anon

org.apache.shiro.web.filter.authc.AnonymousFilter

authc

org.apache.shiro.web.filter.authc.FormAuthenticationFilter

authcBasic

org.apache.shiro.web.filter.authc.BasicHttpAuthenticationFilter

perms

org.apache.shiro.web.filter.authz.PermissionsAuthorizationFilter

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

shiro授权

分类: Security


public class CustomRealm extends AuthorizingRealm {


 @Override
 public void setName(String name) {
  super.setName('customRealm');
 }


 @Override
 protected AuthenticationInfo doGetAuthenticationInfo(
   AuthenticationToken token) throws AuthenticationException {

 

  }

 // 用于授权
 @Override
 protected AuthorizationInfo doGetAuthorizationInfo(
   PrincipalCollection principals) {
    String userCode =  (String) principals.getPrimaryPrincipal();

  //模拟从数据库获取到数据
  List permissions = new ArrayList();
  permissions.add('user:create');//用户的创建
  permissions.add('items:add');//商品添加权限

  SimpleAuthorizationInfo simpleAuthorizationInfo = new SimpleAu

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2015-11-21 15:21)
标签:

shiro

shiro授权

分类: Security



package com.wk.shiro.authorization;

import java.util.Arrays;

import org.apache.shiro.SecurityUtils;
import org.apache.shiro.authc.AuthenticationException;
import org.apache.shiro.authc.UsernamePasswordToken;
import org.apache.shiro.config.IniSecurityManagerFactory;
import org.apache.shiro.mgt.SecurityManager;
import org.apache.shiro.subject.Subject;
import org.apache.shiro.util.Factory;
import org.junit.Test;


public class AuthorizationTest {


 @Test
 public void testAuthorization() {


  Factory factory = new IniSecurityManagerFactory(
    'classpath

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2015-11-21 14:53)
标签:

散列算法

shiro

分类: Security



public class CustomRealmMd5 extends AuthorizingRealm {


 @Override
 public void setName(String name) {
  super.setName('customRealmMd5');
 }


 @Override
 protected AuthenticationInfo doGetAuthenticationInfo(
   AuthenticationToken token) throws AuthenticationException {


  String userCode = (String) token.getPrincipal();

 

  // 模拟从数据库查询到密码,散列值
  String password = 'f3694f162729b7d0254c6e40260bf15c';
  String salt = 'qwerty';

  SimpleAuthenticationInfo simpleAuthentication

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有