Page 2 of 60

ElasticSearch Nested数组嵌套对象的更新插入操作

在ES的日常使用中,需要使用到Nested结构存储数个同级的子节点数据,例如一条主订单下的N条子订单的数据。

新增更新操作

现在,假设我们在ES中有这样一条数据

PUT /celebrities/_doc/114
{
    "user" : "Kun",
    "post_date" : "2009-11-15T14:12:12",
    "message" : "Idol who has been practicing for two and a half years",
    "skills":[
        {
            "name":"sing",
            "skill_level":"A"
        },
        {
            "name":"jump",
            "skill_level":"S"
        },
        {
            "name":"rap",
            "skill_level":"SS"
        }
    ]
}

我们需要往skills的Nested数组中添加一个新的节点,节点的name为“consecutive five whips”,则可以这么写

POST /celebrities/_doc/114
{
    "script": {
        "source": "if (ctx._source.skills == null) {List ls = new ArrayList();ls.add(params.skill);ctx._source.skills = ls;} else {ctx._source.skills.add(params.skill);}",
        "lang": "painless",
        "params": {
            "skill": {
                "name": "consecutive five whips",
                "skill_level": "SSS"
            }
        }
    }
}

得到返回结果,表明执行成功

{
    "_index": "celebrities",
    "_id": "114",
    "_version": 6,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 6,
    "_primary_term": 1
}

通过代码可以简单的看出逻辑,如果_source.skills为null,则创建一个新的ArrayList,并将参数中的skill节点的内容放进去,最后赋值给_source.skills,反之如果不为null的话,则直接往里加入当前的skill字段的内容。

if (ctx._source.skills == null) {
    List ls = new ArrayList();
    ls.add(params.skill);
    ctx._source.skills = ls;
} else {
    ctx._source.skills.add(params.skill);
}

要先判断是否为null,否则无法调用add方法,并会抛出一个异常

"caused_by": {
                "type": "null_pointer_exception",
                "reason": "cannot access method/field [add] from a null def reference"
}
Continue reading

ElasticSearch使用_delete_by_query删除大批数据,及409 Conflict版本冲突问题处理

起因

生产环境一个最近新上了一个清理ES历史数据的定时任务,执行_delete_by_query语句。在检查系统异常日志的时候,发现这块功能报了数个异常,elastic: Error 409 (Conflict)。于是带着这个这个问题展开探索一番

代码中使用的方法就是最基本DSL根据查询条件进行删除的语句

POST /ES_INDEX/_delete_by_query
{
  "query": {
    "term": {
      "data_date": "${dataDate}"
    }
  }
}

在执行_delete_by_query期间,为了删除匹配到的所有文档,多个搜索请求是按顺序执行的。每次找到一批文档时,将会执行相应的批处理请求来删除找到的全部文档。如果搜索或者批处理请求被拒绝,_delete_by_query根据默认策略对被拒绝的请求进行重试(最多10次)。达到最大重试次数后,会造成_delete_by_query请求中止,并且会在failures字段中响应 所有的故障。已经删除的仍会执行。换句话说,该过程没有回滚,只有中断。

原因

Elasticsearch 会在删除文档前使用查询时获取的 internal 版本号和当前文档版本号进行对比。如果在查询和删除操作之间文档发生更改,则会导致版本冲突并且删除操作失败,报 elastic: Error 409 (Conflict) 错误。

Continue reading

JexlEngine表达式引擎的简单使用

JEXL 是一个表达式语言引擎,可以在应用程序或框架中实现动态和脚本功能。先写一个简单的例子,最直观的感受下。

依赖

首先我们是引入依赖包,添加pom文件中的dependency

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-jexl3</artifactId>
    <version>3.1</version>
</dependency>

基础用法

再新建一个测试用的对象类

public class TestJexlObj {
    private int numA;
    private int numB;

    //get.set方法省略
}

之后我们来写一份测试逻辑用的代码

@Test
public void test() {
    TestJexlObj testObj = new TestJexlObj();
    testObj.setNumA(12);
    testObj.setNumB(9);
    JexlEngine jexl = new Engine();
    JexlExpression expression = jexl.createExpression("'numA is '+testObj.getNumA()+' numB is '+testObj.getNumB()");
    JexlContext jc = new MapContext();
    jc.set("testObj", testObj);
    String str = String.valueOf(expression.evaluate(jc));
    System.out.println(str);
    JexlExpression expression2 = jexl.createExpression("'numA + numB = '+(testObj.getNumA()+testObj.getNumB())");
    String str2 = String.valueOf(expression2.evaluate(jc));
    System.out.println(str2);
}

执行后我们可以看到如下结果

以及一份多行构建java对象的表达式作为Script执行的示例代码

Continue reading

基于AOP的Redis缓存注解功能开发设计

在完成的前面的《Redis结合AOP实现限流注解的开发》之后,文中提到了一个配置管理或者字典管理的功能模块,作为一个对外提供快速查询获取配置信息的功能模块,其数据信息本身可以保存的Mysql数据库中。但如果每次查询都要从Mysql中获取数据则又非常影响接口效率和速度,故需要将对应信息在Redis中做一份缓存,帮助快速查询获取。

基础前置

需要的基础前置知识包括《Redis结合AOP实现限流注解的开发》AOP相关,《Java对象序列化常用操作-Protostuff》Java对象的序列化和反序列化,可以前往对应文章查看。

基础思路是这样的

首先我们需要定一个作用于方法上的注解比如@RedisCache(题外话,Spring自身也也有个类似功能的注解@Cacheable,回头可以再开一篇写下相关的使用方法,本文着重是自己开发一套这样的功能)。之后通过一个RedisCacheAspect类,使用@Around注解实现对添加了@RedisCache注解的方法的代理,并将方法的入参,执行结果序列化之后保存到Redis的一个Hash表中去。当下次请求过来的时候,先根据请求参数去Redis的Hash表中查询一下,如果存在,则将查到的信息反序列化为所要查询的对象直接返回给方法调用者。

代码实现

首先是注解类,我们需要新建一个这样的RedisCache注解类

/**
 * @author CheungQ
 */
@Target({ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface RedisCache {
    String value();

    String key() default "";
}

之后,我们在自行实现一个切面类,用来定义切面,并实现切面上的功能。使用@Around注解,并在@RedisCache注解作用的方法前查询Redis中是否有缓存,如果有,则返回结果,如果没有则执行@RedisCache作用的方法,得到方法执行结果,并将结果缓存到Redis,待下次请求的时候查询获取。基本逻辑就是这样,具体的可以看下代码中的实现,这里用到了上面提到的前几篇文章中的相关技术细节。代码如下

Continue reading

Java对象序列化常用操作-Protostuff

在《使用Objenesis实例化java对象》中我们提到了创建一个对象的示例的场景中,有这么一条是将序列化之后的对象重新反序列化为Java对象,那么本篇将就在这一点上,介绍说明下使用Protostuff对Java对象进行序列化和反序列化操作首先。

引子

关于为何要序列化、如何序列化可以参看下https://www.cnblogs.com/wugongzi/p/14345859.html,这里不做额外说明,需要了解到的是,我们一般提到的java对象序列化的方案大致可分为如下几种

  • Java自身提供的序列化功能,需要实现Serializable接口或者Externalizable接口,并使用java的IOStream进行序列化和反序列化的操作
  • 使用第三方库进行JSON或者XML格式的序列化,XML序列化的好处在于可读性好,方便阅读和调试。但是序列化以后的 字节码文件比较大,而且效率不高,适应于对性能不高,而且QPS较低的企业级内部系统之间的数据交换的场景。相对于XML来说,JSON的字节流较小,而且可读性也非常好,应用也非常普遍的。常用的有Jackson、阿里的Fastjson、谷歌的Gson等
  • 除此之外,Protobuf也是一个非常广泛应用的选择,Protobuf是Google的一种数据交换格式,它独立于语言、独立于平台。Protobu解析性能比较高,序列化以后数据量相对较少,适合应用在对象的持久化场景中。但是不同于前面提到的几个方法,要使用 Protobuf 会相对略麻烦些,他有自己的语法,自己的编译器

和Protobuf类似、Protostuff也是谷歌的产品,它是基于Protobuf发展而来的,相对于Protobuf提供了更多的功能和更简易的用法。其中,protostuff-runtime实现了无需预编译对Java Bean进行protobuf序列化/反序列化的能力。protostuff-runtime的局限是序列化前需预先传入schema,反序列化不负责对象的创建只负责复制,因此必须提供默认构造函数。在性能上,Protostuff不输原生的Protobuf,甚至有反超之势

Continue reading

使用Objenesis实例化java对象

引子

首先,一个常问的问题,Java中常用的实例化一个对象的方法有哪些?答案可以简单归类为以下几种方式

  1. 用new 语句创建对象,这是最常用的创建对象方法。这是我们最常用的最基本的方法
  2. 运用反序列化手段,调用java.io.ObjectInputStream对象的readObject()方法。在我们需要将java对象存储到磁盘保存或者通过网络传输的时候会用到这种方法,但是缺点是java自带的这种序列化方式后字节码较大、效率不高。目前来说需要对Java对象序列化及反序列化的话有其他更好的方案
  3. 运用反射手段,调用Java.lang.Class或者java.lang.reflect.Constructor类的newInstance()实例方法。这是我们在需要动态创建对象,不确定类名的时候最常用的方法
  4. 以及调用对象的clone()方法。这种方式需要现有的Java类实现Cloneable接口,再Override Object类的clone()方法,且还存有浅拷贝、深拷贝的问题,Object的clone()方法默认是浅拷贝
Continue reading

常用Java查看对象所占内存方法

业务开发需求中,在进行一些大批量数据处理的时候,会有很多对象驻留在内存中,此时可能会需要有一些对内存占用情况的考虑,以下几个方法能帮助快速判断出对象占用内存大小的情况,以帮助开发人员在后期参数设置上提供一定的参考依据和帮助

准备工作,新建几个用来存放数据的Java对象,可以稍微复杂点,实际上的这个学生信息对象会比这个更复杂很多,这里只是举例,如下

public class StudentInfo {

    private String name;
    private int age;
    private Address address;
    private EducationalExperience educationalExperience;



    //get、set方法省略
}
public class Address {

    private RegionInfo province;
    private RegionInfo city;
    private RegionInfo district;

    //get、set方法省略
}
public class RegionInfo {
    private String name;
    private int regionCode;
    private String abbreviation;

    
//get、set方法省略
}
Continue reading