service.dml/dql

JDBC操作clickhouse示例

ClickHouse适合用于在线分析处理查询（OLAP :Online Analytical Processing）MPP架构的列式存储数据库，能够使用 SQL 查询实时生成分析数据报告。 clickhouse不同于hadoop生态，采用 Local attached storage 作为存储 二、

根据SQL获取元数据信息

根据SQL获取元数据信息 service.metadata(String sql, boolean comment) comment:表示是否需要获取列注释，需要数据库官方驱动的支持 如果需要获取表结构应该用service.metadata().table("表名")//返回列、索引等全部表结构

关于Orcle的MERGE INTO 如果存在重复数据 覆盖或忽略

service.insert(table, set, new DefaultConfigStore().override(true, "ID")); service.insert(table, set, new DefaultConfigStore().override(false, "ID"))

关于分页参数

DataSet set service.querys(table, condition(true)); //分页，参数根据配置文件或PageNaviConfig 当前页数会提取http中的参数 PageNavi navi = set.getNavi(); navi.getTotalPage

MySQL LIMIT OFFSET不支持表达式的问题

发现有个项目里这样写 String sql = SELECT * FROM CRM_USER LIMIT (:page) OFFSET (:page-1)*:vol service.querys(sql, configs) 在Pg里可以正常执行，但返回的DataSet中不包含分页的Pgae

关于PostgreSQL的ON CONFLICT，如果存在重复数据 覆盖或忽略

当执行 INSERT 操作时，如果数据表中不存在对应的记录，执行插入操作；如果数据表中存在对应的记录，则执行更新操作 是否存在可以根据 1.指定列判断 或者2 唯一约束名 Table table = service.metadata().table("CRM_USER"); if(

mysql表结构导入postgres

先用mysql数据源获取表结构 Table table = mysql_service.metadata()table("crm_user") 再用pg数据源创建表 pg_service.ddl().create(table) 需要注意的是：schema和catalog需要根据情况调整一下，一般设置

关于MySQL的insert ignore into和replace into

务必注意，如果执行了replace into会把原数据删除，重新插入新数据，如果有自增主键的话，主键值会变化。  //override=true : replace into //override=false: insert ignore into ServiceProxy.insert

insert/update过程中列的控制

默认情况下只会处理不为空的列，更新时不更新主键 由于数据来源多种多样，有可能是从别的表中查询的也有可能从第三系统获取或java中生成， 同一组数据可能需要同时插入不同的表，但列不同，这时需要设置insert/update的列 可以按以规则设置insert与update规则一样 DataRow row

异构数据源迁移核心部分代码Mysql到Apache Ignite|VoltDB

异构数据源迁移，大概过程就3步，其他细节就看具体情况了 1.在目标库创建表结构 2.从源库中查出数据 3.插入到目标库 举个从Mysql到Apache Ignite的示例 过程中有可能需要合并数据参考，可以通过ConfigStore.override(true)实现【目标库不存在则插入，存在则覆盖或

自定义是查询条件

在低代码平台、可视化数据源、自定义报表等场景中经常需要用到用户自定义查询条件 后台根据用户输入的参数生成查询条件 平时程序员硬编码的很简单的条件如WHERE ID = 1 ，其中只有1是可变参数 ID和等号是固定的 但自定义查询条件的场景中ID,等号,1 这三部分全部由用户提供 过程中可能

不具备更新条件

默认情况下update方法只会更新值有变化的列，可以调用DataSet(DataRow)的 clearUpdateColumns或者  addAllUpdateColumns 更新除了主键之外所有的列

先准备基础环境

为精简篇幅，把前置工作以及后续重复的工作在这里说明，后面就不再啰嗦了。

从最简单的查询开始

查一个表的全部数据,和一行数据

查询部分列(属性)

查一个职员列表，因为简介等大文本影响IO,所以只查ID,NAME两列

根据情况生成不同的查询条件(FIND_IN_SET)

仅针对MySQL

不提供参数值的两种特殊情况

如根据类别查询时，如果没有提供类别值。 默认情况下是忽略类别条件 但也有另外两种特殊情况 用NULL或''拼接SQL 中断SQL执行，不返回值或返回空集合

为所有的查询sql统一添加查询条件

注意，这种方式并不适合用于多租户场景。

查询条件默认值

如果http request提供了参数值并且不为空，则按提供的参数值查询，否则按默认值查询。

分页查询

查询排序

流式查询

默认情况下查询数据会把符合条件的数据一次性读到内存中，但是在大数据处理时会比较耗时甚至内存溢出。在这种情况下可以启用流式查询。返回一个迭代器。在迭代器中执行业务处理。 handler支持4种形式,按性能排序ResultSet>Map>DataRow>Entity 其中ResultS

关于ands

最初ands是为了生成in条件，但and已经可以识别集合条件自动生成IN， 2023-10-21后 ands改成了与ors类似的效果，即把之前所有的条件放在一个()内,然后and this

service.update(DataRow)只更新值有变化的列

service.update(DataRow)只更新值有变化的列

DataRow与Map的区别

DataRow是继承自Map所以Map有的方法DataRow都有， 并且对Map进行了改造和扩展，主要有: 改造了get/set方法，在get/set执行前会先检测key,以实现忽略大小写、下划线、驼峰等格式，效果就是get("userid") get("userId") get("user_id"

Entity中的集合(数组)属性保存到数据库中

Entity中的集合(数组)属性保存到数据库中["A","B","C"]与A,B,C格式 如果数据库中是JSON格式则会保存成["A","B","C"]格式 如果数据库中是vachar类型则默认会保存成A,B,C格式(为了方便 findinset函数执行)，如果需要保存成["A","

Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'

出现这个异常是因为视图把json类型保存到数据库中，一般来说数据库会设置一个JSON类型。 但在页mysql驱动对json的sql类型会要求一个String类型的数据, 需要打开ConfigTable.IS_AUTO_CHECK_METADATA  = true ,这样

属性关联表主键生成器注解

通常情况下通过配置文件设置一个统一的主键生成器就可以，但如果有一部分表需要单独设置 一种方式是可以通过配置文件单独指定 另一种方式可以通过注解设置 另外一些属性的关联表的主键生成器也可以通过注解设置,这种情况比较特殊在其他JPA中一般不这样用 @Table(name="HR_EMPLOYEE")

upsert(已存在则更新或跳过，中不存在则插入)

在数据中台、数据同步场景中经常有这种需求，如果数量少可以清空后再全量同步一次，这样最省心。也可以插入前检测一下数据是否存在。 在如果数量很大，以方式显然不可取，如果自己实现一般是通过索引(性能)+存储过程(一次交互)实现 当然许多数据库都对这种场景提供了原生支持。用过ORM实现过这种

关于Apache ignite的MERGE 如果存在重复数据 覆盖或忽略

public static void override() throws Exception{ String tab = "tab_override"; Table table = service.metadata().table(tab); if(null != table){ serv

insert/update Map时大小写的问题

在insert/update时如果提供的是List<Map>或Map参数时有可能因为Map的key与列名不一致导致取值失败的问题。因为map严格区分大小写，put("id",1)用get("ID")当然是取不出来了 如果大小写不一致，可以转换成DataSet<DataRow>

sequence

BigDecimal next = service.sequence("SIMPLE_SEQ"); DataRow nexts = service.sequences("SIMPLE_SEQ", "SIMPLE_SEQ2"); BigDecimal cur = service.sequence(fa

删除数据的几种场景

删除会有以下几类情况 1.先查出数据，再执行删除 2.直接执行SQL 3.根据约定参数删除 4.复杂条件可以构造ConfigStore 源码请参考 https://gitee.com/anyline/anyline-simple/tree/master/anyline-simple-d

插入数据后返回主键值

插入数据后返回主键值

如果主键不统一怎么办

如果是Map可以转成DataRow row = new DataRow(map): DataRow有setPrimaryKey(String ... pks)方法可以设置主键 也可以在service.querys("crm_user<id,code>")方式设置主键 如果有Config

关于查询结果集单行与多行的问题

简易方式指定数据源和主键

service.querys("table(col1,col2)") <数据源>放在开头 <主键>放在结尾 ds_sso表示数据源 ID,CODE表示主键

查询条件中空值的处理方式

这里的空值说的是在自动生成查询条件是的情况，如果是原生的SQL条件，则不会处理 service.quers("CRM_USER", " CODE='' ", "NM IS NULL") 这种提供原生SQL的情况不处理  需要处理的是以下3种情况 service

关于批量执行

JDBC批量执行要求SQL命令是一样的，第行的参数可以不一样。 service的insert,update,save,excute等方法在第一个参数前加一个int batch参数表示批量执行，batch表示每批次执行多少条命令。 如果是自定义的SQL参数需要提供一个二维数组，如 List

插入数组

在PG数据库中支持数组类型，但默认情况下DataRow中的数组会被拆开，只取第0个值。 如果需要插入整个数组可以通过以下几种方式： 1.ConfigTable.IS_AUTO_SPLIT_ARRAY = false; 2.ConfigTable.IS_AUTO_CHECK_METADATA = tr

插入记录时自动建表

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10; i++){ DataRow row = set.add(); row.put("ID", fr+i); row.pu

查询返回指定列

默认情况下查询*也就是查询所有列，但如果表中有大文本会影响性能，可以在表名后加列名来控制查询和返回内容 service.querys("user(id,code)") 生成SQL SELECT id, code FROM user

关于几个 空值 的查询示例

//service.query("crm_user", "+id:null"); // ID IS NULL //service.query("crm_user", "+id:");     // ID IS NULL //以上两种情况 经常是通过变量拼接出来如 "+i

遇到anyline没解析或极特殊类型怎么处理

定义列我们一般分成三部分 名称，数据类型，其他属性如果遇到一些anyline没有处理的特殊类型,如set('X','Y','Z') 等这种类型Column对象没有对应的属性可以配置，这种可以直接设置new Column("col_name").setFinalType("set('X','

关于函数操作

在查询条件和查询列中经常需要函数，当然这样查询对性能影响非常严重，只是举例说明一下语法 SELECT  id,to_char(reg_time,'yyyy-mm') as ym FROM crm_user WHERE char(reg_time,'yyyy-mm-dd') LIKE

condition参数与query参数的混淆

在controller中查询数据时经常会用到： String status = "FINAL"; service.query("CRM_USER", condition(true, "TYPE_CODE:type"), "DATA_STATUS:"+status); 实际执行的

关于数组参数值

标准的url中一般是这样http://127.0.0.1/list?id=1&id=2&id=3 或者用form表表单提交三个name=id的input 也可以提交json格式{id:[1,2,3]} 以上三种情况condition("ID:[id]")都可以解析成WHERE I

XML中自定义复杂SQL

文件格式: SELECT M.I

关于自定义SQL中的变量赋值

String sql = "SELECT * FROM CRM_USER WHERE CODE = :PARAM_CODE"; DataSet set = service.querys(sql, "PARAM_CODE:1"); //生成SQL SELECT * FROM CRM_USER WHERE CODE = 1 //特别注意这以下情况 CODE:1与SQL中的变量匹配不成功时，SQL会

多数据源事务管理器bean.name

在存多数据源的情况下会创建多个事务管理器【为会么要创建多个事务管理器】 事务管理器在spring上下文环境中的命名也就是bean.name 如在默认数据源之外 又创建多个数据源a,b,c spring会针对默认数据生成一个默认事务管理器:transactionManager anyline

Neo4j基础操作

//以下说到的标签相当于关系型数据库中的表 //原生CQL创建节点 service.execute("create (d:Dept{name:'财务部', leader:'张三'})"); //创建多标签(表)节点 service.ex

MongoDB基础操作

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10;i ++){ MongoDataRow row = new MongoDataRow(); row.put("_id"

关于必须条件

 以“+”开头表示当前条件必须拼接 如condition("+NM:nm") 如果客户端提供了nm值，如http://localhost?nm=zh 则正常生成SQL:  SELECT * FROM TAB WHERE NM = 'zh' 如果没有提供nm值,如如http://localhost或 http://local?nm= 则生成SQL: 

关于IN条件

关于IN条件

关于默认值

关于默认值

关于like

关于like

save与insert区别

save与insert区别

查询时设置主键

查询时设置主键

关于几种OR条件查询的情况

//以下三种格式,只有cd取值成功时，条件才生效 //当cd=1,id=2时 WHERE CODE = 1 OR CODE =2 //当cd=null,id=2时 条件不生效 //当cd=1,id=null时 WHERE CODE = 1 service.querys("HR_USER", condition("CODE:cd|id")); //当cd=1时 WHERE CODE =1 OR

IN条件下多种参数格式的接收

对于标准的url格式 /list?id=1&id=2 以及标准的json格式 {id:[1,2]} 可以通过condition("ID:[id]")的形式接收 对于非标准格式如 /list?id=1,2 可以通过condition("ID:[split(id)]")的形式接收 最终都是生成SQL  WHERE ID IN(1,2)

关于分页参数

默认的分页参数名比较长: public static String DEFAULT_KEY_PAGE_ROWS = "_anyline_page_rows" ; //设置每页显示多少条的key public static String DEFAULT_KEY_PAGE_NO = "_anyline_page" ; //设置当前第几页的key public static

关于自动检测表结构

在执行数据库操作时，许多参数是以String形式获取到的,无法参数识别数据类型，如url中的参数 还有一些数据类型在Java中没有对应关系,如xml/josn/几何图形等 而有些数据库在执行SQL时会执行强类型检测。 不像我们平时用的MySQL在执行时会进行隐式转换，无论什么类型只要能转换成功就可以执行。 而PostgreSQL则要求jdbc参数与表结构对应，如果在va

关于更新部分属性(列)、忽略部分属性(列)

在实际操作中经常需要更新指定的列，或者忽略更新指定的列

关于insert或update时确定哪些列参与到insert或update中

关于insert或update时确定哪些列参与到insert或update中

查询数据库返回的数据字段全是大写，字段怎么设置返回小写

可以通过ConfigTable设置全局参数 ConfigTable.IS_LOWER_KEY = true; ConfigTable.IS_UPPER_KEY = false;

几个分页查询的示例

比较常用的分页是在controller中通过condition设置 service.querys("user", condition(true, "其他条件")) 这里的true表示需要分页 service.querys("user", condition(20, "其他条件"))&nbs

SQL中的变量及占位符格式

SELECT * FROM CRM_USER WHERE ID = :ID  以:标识的执行时直接替换  以::标识的执行时以?占位   NAME LIKE :NM + '%'   (NAME = :NM)   NAME = ':NM'   NM IN (:NM)  

统一添加查询条件

可以实现QueryInterceptor， prepare:表示在准备创建SQL之前触发，如果需要修改查询条件可以在这一步执行。 before:是在SQL执行之前触发，到这一步时最终SQL已经生成，可以用来保存查询日志 after:在before基础之上，多了SQL执行状态、查