加载中…
玩玩小游戏
加载中…
个人经历
学校:
  • 北京科技大学 应用数学专业

    2006年入读

个人简介
高科技技术,电影,美食。
新浪微博
宝宝资料
博主尚未设置此模块内容。
育儿要闻
个人资料
园园
园园
  • 博客等级:
  • 博客积分:0
  • 博客访问:198,741
  • 关注人气:46
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
评论
加载中…
留言
加载中…
好友
加载中…
访客
加载中…
搜博主文章
博文
标签:

es

分词器插件

1 环境配置

linux redhat

es6.8 

maven 工具

2 安装ik分词器和pinyin分词器

2.1 下载分词器

https://github.com/medcl/elasticsearch-analysis-pinyin,如上图所示,选择版本,这里es为6.8选择6.x. master 匹配elasticsearch 7.0版本

2.2 解压缩文件 unzip :

unzip elasticsearch-analysis-pinyin-6.x.zip

cd elasticsearch-analysis-pinyin-6.x

2.3 修改pom.xml ,

阅读  ┆ 评论  ┆ 禁止转载 ┆ 收藏 
标签:

转载

在hive中,会有这样一种情形:

1、创建一个分区外部表A(比如A表有5个字段),并且向A表里指定的分区(比如20160928这个分区)里插入数据

2、发现A表缺少一些字段,因为存在元数据不实时更新的问题,不想更新元数据,就进行删表重新建表B(表B与表A除了多了几个字段外,别的都一样)

3、再执行hql脚本,把最新的字段样式的数据插入到20160928这个分区里

会出现如下的报错:

Failed with exception java.io.IOException: rename for src

阅读  ┆ 评论  ┆ 转载原文 ┆ 收藏 
1首先出现'结构需要清理'说明磁盘文献问题,需要使用以下命令进行检查
fsck /dev/sda4(磁盘路径,可以使用fdisk -l 查看所有设备使用情况)
2 再次使用mount 命名进行挂载,即可挂载成功
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

opencv安装和部署

分类: 图片检索

1.去官网下载opencv,在本教程中选用的是opencv3.4.1,其他版本的配置方法异曲同工。
下载链接http://opencv.org/releases.html,选择sources版本

2.解压下载下来的zip包

 unzip opencv-3.4.1.zip 
3.进入到解压后的文件包中

4.安装依赖库和cmake ,如果提醒需要apt-get update,那就先 sudo su进入root权限,再sudo apt-get update,然后在执行下面命令

 sudo apt-get install cmake 
sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg.dev libtiff4.dev libswscale-dev libjasper-dev5.安装完cmake之后执行命令 ,创建编译文件夹,不创建的会提示(如下图)

In-source builds are not allowed.

 mkdir my_bui
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

内容来自:https://blog.csdn.net/coderhuhy/article/details/46575667

简单介绍一下OpenCV

OpenCV was designed for computational efficiency and with a strong focus on real-time applications. Written in optimized C/C++, the library can take advantage of multi-core processing. Enabled with OpenCL, it can take advantage of the hardware acceleration of the underlying heterogeneous compute platform. Adopted all around the world, OpenCV has more than 47 thousand people of user community and estimated number of downloads exceeding 9 million. Usage ranges from interactive art, to mines inspection, stitching maps on the web or through advanced robotics.

OpenCV(Open Source Computer Vision Library)的计算效率很高且能够完成实时任务。OpenCV库由优化的C/C++代码编写而成,能够

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2018-02-11 14:49)

在GAN的相关研究如火如荼甚至可以说是泛滥的今天,一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了,连Goodfellow都在帖子里和大家热烈讨论,这篇论文究竟有什么了不得的地方呢?

要知道自从2014年Ian Goodfellow提出以来,GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。从那时起,很多论文都在尝试解决,但是效果不尽人意,比如最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举,最终找到一组比较好的网络架构设置,但是实际上是治标不治本,没有彻底解决问题。而今天的主角Wasserstein GAN(下面简称WGA

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。


1. 二次代价函数的不足

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点、底层结构,这对进一步改善模型、算法都有着重要作用。

特征选择主要有两个功能:

  1. 减少特征数量、降维,使模型泛化能力更强,减少过拟合
  2. 增强对特征和特征值之间的理解

拿到数据集,一个特征选择方法,往往很难同时完成这两个目的。通常情况下,我们经常不管三七二十一,选择一种自己最熟悉或者最方便的特征选择方法(往往目的是降维,而忽略了对特征和数据理解的目的)。

在许多机器学习相关的书里,很难找到关于特征选择的内容,因为特征选择要解决的问题往往被视为机器学习的一种副作用,一般不会单独拿出来讨论。

本文将结合Scikit-learn提供的例子介绍几种常用的特征选择方法,它们各自的优缺点和问题。

1 去掉取值变化小的特征 Removing features with low variance

这应该是最简单的特征选择方法了:假设某特征的特征值只有0和1,并且

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
标签:

产品

项目

分类: 产品管理

首先,我们还是先了解项目管理和产品管理的基本概念。

什么是项目?

项目是在限定的资源及限定的时间内需完成的一次性任务。具体可以是一项工程、服务、研究课题及活动等。作为项目来说,无论是什么类型的项目,都具有启动、计划、执行、收尾四个阶段。这四个阶段可以存在于产品生命周期的任何一个阶段。

什么是项目管理?

指在项目活动中运用专门的知识、技能、工具和方法,使项目能够在有限资源限定条件下,实现或超过设定的需求和期望的过程。项目管理是对一些与成功地达成一系列目标相关的活动(譬如任务)的整体监测和管控。

什么是产品?

产品是指能够提供给市场,被人们使用和消费,并能满足人们某种需求的任何东西,包括有形的物品、无形的服务、组织、观念或它们的组合。具体针对软件来说,作为产品主要关注的软件的功能是否满足客户需要。而作为项目,软件功能满足客户需要只是项目管理中“范围、时间、成本、质量”四大因素中的一部分,而且只是属于“范围”和“质量”的一部分。作为项目还要考虑时间和进度的把控。

什么是产品管理?

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

Windows下单机安装Spark开发环境

机器:windows 7 64位。

因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。

1、Java下Spark开发环境搭建

1.1、jdk安装

安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“D:\Program Files\Java\jdk1.

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
  

新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

新浪公司 版权所有