加载中…
个人资料
深圳老何
深圳老何
  • 博客等级:
  • 博客积分:0
  • 博客访问:458,057
  • 关注人气:237
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
博文
标签:

elastisearch

elk

mysql

数据同步

深圳老何

分类: WEB架构设计

  对于ELK(ELK 是Elasticsearch、Logstash、Kiban三个开源软件的组合)搭建的日志分析系统在很多的企业都会去用到,它功能的确是十分强大。以前老何在自己的技术博文中也分享总结了用docker-compose.yml搭建graylog的轻量级日志分析系统如何集成微服务的系列实践文章,这里对于ELK的日志分析系统老何就不再展开说明了,其实也是类似的处理。

今天老何要总结分享的是关于如何使用Logstash来实现mysql到ElasticSearch的表的数据的实时同步(全量和增量两种方式)的配置处理。

老何本地使用的Elasticsearch、Logstash、Kiban三个开源软件的版本都是用的6.8.1版本来做操作演示的,关于Elasticsearch、Logstash、Kiban三个开源软件的下载安装运行步骤比较简单,网友自行网上搜索就好,老何不会讲解这些基础知识。

1.老何本地的ELK软件的版本如下所示

标签:

graylog

elasticsearch

mongdb

springcloud

老何

分类: java技术
说到ELK可能很多做技术的同事都会知道,ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。其实就是日志系统,方便开发人员排查定位故障。但今天老何是要介绍的另一款日志系统的后起之秀graylog。关于graylog日志系统的流程图如下。






从上图可以看出graylog日志系统大体上包括Elasticsearch、MongoDb和Graylog三部分。

▲ Graylog 提供 graylog 对外接口,Web界面,CPU

▲ Elasticsearch 日志文件的持久化存储和检索,

标签:

老何

网络时空

springboot

springcloud

explicitmapping

分类: java技术
前两天老何将users工程拆分成maven的多模块工程后,就没有接着再处理了。今天在继续写买家登录和卖家登录的controller方法后,接着测试,发现通过流览器访问user-server工程中的LoginController时始终发现报如下错错误。

异常:This application has no explicit mapping for /error, so you are seeing this as a fallback.

老何本地测试的相关内容说明如下

启动的环境如下



标签:

老何

网络时空

mavel

module

杂谈

最近老何继续微服务相关内容分享的时候,需要使用到用户微服务users,所以需要新建users项目,并且计划将users项目拆分成多模块modules形式,maven多模块项目也是我们实际项目中使用比较多,所以老何计划单独总结一篇文章出来分享下。

 
关于为什么要拆分成多模块的好处,网上有大量的文章介绍,这里老何简单汇总如下。

多模块拆分的必要性

使用Java技术开发的工程项目,无论是数据处理系统还是Web网站,随着项目的不断发展,需求的不断细化与添加,工程项目中的代码越来越多,包结构也越来越复杂, 这时候工程的进展就会遇到各种问题:

(1)不同方面的代码之间相互耦合,这时候系统一出现问题很难定位到问题的出现原因,即使定位到问题也很难修正问题,可能在修正问题的时候引入更多的问题。

(2)多方面的代码集中在一个整体结构中,新入的开发者很难对整体项目有直观的感受,增加了新手介入开发的成本,需要有一个熟悉整个项目的开发者维护整个项目的结构(通常在项目较大且开发时间较长时这是很难做到的)。

(3)开发者对自己或者他人负责的代码边界很模糊,

标签:

pos

posp

8583

阿堂

网络时空

分类: uninx技术
       ISO8583报文在金融行业可谓是声名显赫,8583报文是一个国际标准的包格式,其重要性阿堂就不用多说了,网上有很多的介绍,不过对于一个从未接触过8383报文的新手来说,还是很有难度的。它主要是用来解决金融系统之间的报文交换的。本文适合有一定8583报文基础的网友阅读!阿堂目前对于8583报文也是略有认识,之所以写这篇文章,一来是为了作为学习笔记,二来是为了能给其它对8583报文的使用和测试想加深理解的网友提供一些帮助。
      下面,阿堂就主要分享“消费”类型报文的测试和组8583报文的过程,说明一下,我这里是针对我们日常使用POS机系统来说的,这里主要是模拟的POS终端发向POSP系统的8583报文。其基本业务流程图如下所示


标签:

阿堂

网络时空

杂谈

分类: java技术
        哦,前几天,在处理公司一老项目jsp的图片输出时,由于该项目没有用任何框架,如ssh之类,所以就是用jsp来输出sql server中image类型的字段,输出形式如
            <img src='pic.jsp?merno=<%=merNo%>' border=0/>

该pic.jsp文件中的内容如下
<%
     String merno = filter.Check_SQL_Str(request.getParameter('merno'));
     DBo db=new DBo();
     ResultSet rs = null;
     ServletOutputStream sout = null;
     InputStream in = null;
     String sql = 'select merLogo from merchant where merno=''+merno+''';
     try{
       rs=db.executeQuery(sql);
       if(rs.ne
标签:

oracle

blob

阿堂

杂谈

分类: 数据库技术
     最近两天,阿堂在处理将页面中的文件上传和下载时,要将页面上,客户选择的任意类型上传的文件,写入到oracle中的BLOB类型的字段中,同时,客户也能下载上传的多个任意类型的文件,遇到了一些问题,也到网上查了不少资料,感觉网上的资料都或多或少有些错务,最后通过自己的反复测试总算解决了,解决的过程中,还真有不少收获,这里还是写下来,和朋友们分享一下!

以下是本人的几点总结,当然,上面的两个方法(上传和下载)中,本身已经加了注解了
1.个人感觉对于mysql中blob类型的字段,sql server中的image类型的字段,oracle中的blob类型的字段读写操作的方式是有区别的,既有相同点,也有不同点
2.mysql中的BLOB类型字段的读写,sql server中image类型的字段读写,oracle中的BLOB类型的字段的读写的比较(写对应的上传文件,读对应的下载文件)
对于mysql中的blob类型的字段和sql server中的image字段类型的写(文件上传),在插入insert操作时,
pst.setBinaryStream(1, fis, int(f.length()))这种类似的写法,基

标签:

sql

xml

阿棠

杂谈

分类: java技术

     物流系统中,其主要业务无外乎如下几种关系'在途数据\进货数据\出货数据\库存数据',当然还会有其它一些业务关系,不过,其它的也只是一些扩展罢了,但是,上面这四种情况是其中最主要的几种情况.那么我们在web层面,主要是进行数据的查询和检索.这其中的查询条件,一部分是从web页面输入条件,还有一部分条件,是根据具体业务情况,固定死了的.在真正检索查询时,会把web页面传递的条件和另一部分固定死了的条件进行拼接检索.事实上,如果,我们把固定的条件(即公共部分),将其放置到xml文件中来读取,然后拼接web页面的选择条件拼接公共的sql条件即可,这实在不失为一种好的解决方法.

    下面,阿堂就根据项目中的具体情况,讲述一下,希望能为其它朋友提供一种好的解决

  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有