AnylineService

关于跨库操作与数据源自动复制

在低代码与中台项目中经常需要操作多个数据库的元数据，如查询出所有数据库中的表。 但是需要注意：多个库中可以会出现同名的表。另外也有部分数据库不支持跨库，在每个库中单独维护一份系统表。 在实际业务中一般也不需要多个库的元数据同时显示或重，更多的是按库分类。 为了统一处理，推荐先列出数据库列表，再根

JDBC操作clickhouse示例

ClickHouse适合用于在线分析处理查询（OLAP :Online Analytical Processing）MPP架构的列式存储数据库，能够使用 SQL 查询实时生成分析数据报告。 clickhouse不同于hadoop生态，采用 Local attached storage 作为存储 二、

根据SQL获取元数据信息

根据SQL获取元数据信息 service.metadata(String sql, boolean comment) comment:表示是否需要获取列注释，需要数据库官方驱动的支持 如果需要获取表结构应该用service.metadata().table("表名")//返回列、索引等全部表结构

关于Orcle的MERGE INTO 如果存在重复数据 覆盖或忽略

service.insert(table, set, new DefaultConfigStore().override(true, "ID")); service.insert(table, set, new DefaultConfigStore().override(false, "ID"))

关于分页参数

DataSet set service.querys(table, condition(true)); //分页，参数根据配置文件或PageNaviConfig 当前页数会提取http中的参数 PageNavi navi = set.getNavi(); navi.getTotalPage

MySQL LIMIT OFFSET不支持表达式的问题

发现有个项目里这样写 String sql = SELECT * FROM CRM_USER LIMIT (:page) OFFSET (:page-1)*:vol service.querys(sql, configs) 在Pg里可以正常执行，但返回的DataSet中不包含分页的Pgae

关于PostgreSQL的ON CONFLICT，如果存在重复数据 覆盖或忽略

当执行 INSERT 操作时，如果数据表中不存在对应的记录，执行插入操作；如果数据表中存在对应的记录，则执行更新操作 是否存在可以根据 1.指定列判断 或者2 唯一约束名 Table table = service.metadata().table("CRM_USER"); if(

mysql表结构导入postgres

先用mysql数据源获取表结构 Table table = mysql_service.metadata()table("crm_user") 再用pg数据源创建表 pg_service.ddl().create(table) 需要注意的是：schema和catalog需要根据情况调整一下，一般设置

关于MySQL的insert ignore into和replace into

务必注意，如果执行了replace into会把原数据删除，重新插入新数据，如果有自增主键的话，主键值会变化。  //override=true : replace into //override=false: insert ignore into ServiceProxy.insert

insert/update过程中列的控制

默认情况下只会处理不为空的列，更新时不更新主键 由于数据来源多种多样，有可能是从别的表中查询的也有可能从第三系统获取或java中生成， 同一组数据可能需要同时插入不同的表，但列不同，这时需要设置insert/update的列 可以按以规则设置insert与update规则一样 DataRow row

ConfigStore分页相关的参数

ConfigStore condition = new DefaultConfigStore(first, last); 注意这里的构造函数提供的起止行数，与mysql中的limit并不一样 如果需要通过mysq limit方式分页可以在创建了ConigStore后调用limit condition

获取列信息的几种方式

// 1直接获取元数据 //sql server 列元数据中不返回表名，所以查不到注释 LinkedHashMap<String,Column> columns = service.metadata("SELECT ID AS USER_ID, ID AS ID, CODE AS US

异构数据源迁移核心部分代码Mysql到Apache Ignite|VoltDB

异构数据源迁移，大概过程就3步，其他细节就看具体情况了 1.在目标库创建表结构 2.从源库中查出数据 3.插入到目标库 举个从Mysql到Apache Ignite的示例 过程中有可能需要合并数据参考，可以通过ConfigStore.override(true)实现【目标库不存在则插入，存在则覆盖或

自定义是查询条件

在低代码平台、可视化数据源、自定义报表等场景中经常需要用到用户自定义查询条件 后台根据用户输入的参数生成查询条件 平时程序员硬编码的很简单的条件如WHERE ID = 1 ，其中只有1是可变参数 ID和等号是固定的 但自定义查询条件的场景中ID,等号,1 这三部分全部由用户提供 过程中可能

druid连接SQL Server异常

在获取schema时会有个异常，换成1.1.15版本试一下

不具备更新条件

默认情况下update方法只会更新值有变化的列，可以调用DataSet(DataRow)的 clearUpdateColumns或者  addAllUpdateColumns 更新除了主键之外所有的列

关于分页(不)查询总行数

默认情况下分页前会是查询一次总行数。 但还有场景如数量特别大、下划加载更多等不需要总数或项目中单独维护的总数 可以通过PageNaviConfig.IS_AUTO_COUNT=false 全局设置分页查不计算总数 也可以通过ConfigStore.autoCount(false)或Page

先准备基础环境

为精简篇幅，把前置工作以及后续重复的工作在这里说明，后面就不再啰嗦了。

从最简单的查询开始

查一个表的全部数据,和一行数据

查询部分列(属性)

查一个职员列表，因为简介等大文本影响IO,所以只查ID,NAME两列

根据情况生成不同的查询条件(FIND_IN_SET)

仅针对MySQL

不提供参数值的两种特殊情况

如根据类别查询时，如果没有提供类别值。 默认情况下是忽略类别条件 但也有另外两种特殊情况 用NULL或''拼接SQL 中断SQL执行，不返回值或返回空集合

为所有的查询sql统一添加查询条件

注意，这种方式并不适合用于多租户场景。

查询条件默认值

如果http request提供了参数值并且不为空，则按提供的参数值查询，否则按默认值查询。

分页查询

查询排序

关于默认的jdbc adapter

public static boolean IS_ENABLE_COMMON_JDBC_ADAPTER= false;   // 是否开启默认的jdbc adapter(仅支持部分标准SQL)遇到没有实现adapter的数据库时可以开启 默认情况下是禁用的，也就是说如果

流式查询

默认情况下查询数据会把符合条件的数据一次性读到内存中，但是在大数据处理时会比较耗时甚至内存溢出。在这种情况下可以启用流式查询。返回一个迭代器。在迭代器中执行业务处理。 handler支持4种形式,按性能排序ResultSet>Map>DataRow>Entity 其中ResultS

关于ands

最初ands是为了生成in条件，但and已经可以识别集合条件自动生成IN， 2023-10-21后 ands改成了与ors类似的效果，即把之前所有的条件放在一个()内,然后and this

关于默认主键

在默认情况下，更新数据时以ID作为主键。
可以通过ConfigTable.DEFAULT_PRIMARY_KEY = "CD" 或配置文件统一修改

在实际业务中经常需要根据其他列来执行批量修改可以通过
DataRow或DataSet的setPrimaryKey("user_id")来设置新的主键,这样可以实现按user_id批量更新数据

service.update(DataRow)只更新值有变化的列

service.update(DataRow)只更新值有变化的列

getColumns与getMetadatas区别

getColumns返回的是DataRow中查询出来的列属性 getMetadatas返回的是整个表的列属性 如CRM_USER表中有三列，ID,NAME,AGE DataRow row = service.query("CRM_USER(ID,NAME)"); 这时getMetadatas会返回3

Entity中的集合(数组)属性保存到数据库中

Entity中的集合(数组)属性保存到数据库中["A","B","C"]与A,B,C格式 如果数据库中是JSON格式则会保存成["A","B","C"]格式 如果数据库中是vachar类型则默认会保存成A,B,C格式(为了方便 findinset函数执行)，如果需要保存成["A","

Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'

出现这个异常是因为视图把json类型保存到数据库中，一般来说数据库会设置一个JSON类型。 但在页mysql驱动对json的sql类型会要求一个String类型的数据, 需要打开ConfigTable.IS_AUTO_CHECK_METADATA  = true ,这样

属性关联表主键生成器注解

通常情况下通过配置文件设置一个统一的主键生成器就可以，但如果有一部分表需要单独设置 一种方式是可以通过配置文件单独指定 另一种方式可以通过注解设置 另外一些属性的关联表的主键生成器也可以通过注解设置,这种情况比较特殊在其他JPA中一般不这样用 @Table(name="HR_EMPLOYEE")

upsert(已存在则更新或跳过，中不存在则插入)

在数据中台、数据同步场景中经常有这种需求，如果数量少可以清空后再全量同步一次，这样最省心。也可以插入前检测一下数据是否存在。 在如果数量很大，以方式显然不可取，如果自己实现一般是通过索引(性能)+存储过程(一次交互)实现 当然许多数据库都对这种场景提供了原生支持。用过ORM实现过这种

关于Apache ignite的MERGE 如果存在重复数据 覆盖或忽略

public static void override() throws Exception{ String tab = "tab_override"; Table table = service.metadata().table(tab); if(null != table){ serv

insert/update Map时大小写的问题

在insert/update时如果提供的是List<Map>或Map参数时有可能因为Map的key与列名不一致导致取值失败的问题。因为map严格区分大小写，put("id",1)用get("ID")当然是取不出来了 如果大小写不一致，可以转换成DataSet<DataRow>

关于元数据(表结构、索引等)缓存

由于元数据的查询需要许多SQL,所以默认情况下会生成缓存。 当通过service.ddl()修改数据库时，缓存会刷新，但通过其他方式修改数据库时，缓存无法接收通知，所以会导致缓存与数据库不一致的情况 为避免以上情况，可以 1.数据库修改都通过service.ddl()执行 2.数据库修改后调用系统接

sequence

BigDecimal next = service.sequence("SIMPLE_SEQ"); DataRow nexts = service.sequences("SIMPLE_SEQ", "SIMPLE_SEQ2"); BigDecimal cur = service.sequence(fa

删除数据的几种场景

删除会有以下几类情况 1.先查出数据，再执行删除 2.直接执行SQL 3.根据约定参数删除 4.复杂条件可以构造ConfigStore 源码请参考 https://gitee.com/anyline/anyline-simple/tree/master/anyline-simple-d

插入数据后返回主键值

插入数据后返回主键值

数据脱敏

//列名支持正则 //两种方式脱敏 //1.omit 显示指定位数 短文本适合 如把公司、联系人、地址列 显示部分内容 //2.替换关键字 长文本适合 如从正文中替换手机号 //两个作用范围 //1.C

查询、更新、插入时 自动屏蔽不存在的字段

1. ‌动态元数据驱动的核心能力‌ ‌实时表结构感知‌：Anyline 能在运行时自动识别数据库表结构，无需预定义实体类或映射关系。这一特性使其能够自动过滤或忽略查询中不存在的字段，而不会直接抛出异常。 ‌兼容未知数据源‌：即使面对未知或动态变化的数据源，Anyline 仍能通过元数据引擎适配查询，

设置SQL执行的超时时间

 //设置SQL执行的超时时间(毫秒) ConfigTable.SQL_QUERY_TIMEOUT = 1; ConfigTable.SQL_UPDATE_TIMEOUT = 1;

如果主键不统一怎么办

如果是Map可以转成DataRow row = new DataRow(map): DataRow有setPrimaryKey(String ... pks)方法可以设置主键 也可以在service.querys("crm_user<id,code>")方式设置主键 如果有Config

关于查询结果集单行与多行的问题

简易方式指定数据源和主键

service.querys("table(col1,col2)") <数据源>放在开头 <主键>放在结尾 ds_sso表示数据源 ID,CODE表示主键

多数据源场景中service注入失败

如果是单个数据源默认情况下AnylineController中已经默认注入了一个AnylineService service;这个service可以操作多个数据源bean.id = @Service("anyline.service") 但是在多数据源情况下，为了更强的隔离性，避免线程共享

查询条件中空值的处理方式

这里的空值说的是在自动生成查询条件是的情况，如果是原生的SQL条件，则不会处理 service.quers("CRM_USER", " CODE='' ", "NM IS NULL") 这种提供原生SQL的情况不处理  需要处理的是以下3种情况 service

插入数组

在PG数据库中支持数组类型，但默认情况下DataRow中的数组会被拆开，只取第0个值。 如果需要插入整个数组可以通过以下几种方式： 1.ConfigTable.IS_AUTO_SPLIT_ARRAY = false; 2.ConfigTable.IS_AUTO_CHECK_METADATA = tr

插入记录时自动建表

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10; i++){ DataRow row = set.add(); row.put("ID", fr+i); row.pu

关于几个 空值 的查询示例

//service.query("crm_user", "+id:null"); // ID IS NULL //service.query("crm_user", "+id:");     // ID IS NULL //以上两种情况 经常是通过变量拼接出来如 "+i

查询返回指定列

默认情况下查询*也就是查询所有列，但如果表中有大文本会影响性能，可以在表名后加列名来控制查询和返回内容 service.querys("user(id,code)") 生成SQL SELECT id, code FROM user

根据所有String类型模糊查询

ConfigStore configs = new DefaultConfigStore(); configs.likes("Z"); ServiceProxy.service().querys("CRM_USER",configs); 会检测目标表中有哪些列是String类型的，生成OR LIKE

遇到anyline没解析或极特殊类型怎么处理

定义列我们一般分成三部分 名称，数据类型，其他属性如果遇到一些anyline没有处理的特殊类型,如set('X','Y','Z') 等这种类型Column对象没有对应的属性可以配置，这种可以直接设置new Column("col_name").setFinalType("set('X','

获取表或视图的DDL

//查询表结构时，默认会查询DDL Table table = service.metadata().table("CRM_USER") List ddls = table.ddls(); 对于确认只有一条SQL的数据库可以 String ddl = table.ddl(

查询表上的索引

查询crm_user表上的索引 LinkedHashMap indexs = service.metadata().indexs("crm_user"); for(Index item:indexs.values()){ System.out.printl

关于列的排序

创建表时会根据position自动排序，如果没有设置position属性则排到最后，如果都没有设置则按添加顺序 table = new Table("表名"); table.addColumn("C2","INT").setPosition(2); table.addColumn("C1","INT

DDL保存表结构时，删除列和添加列

如数据库中原来有3列，C1,C2,C3 保存结构时只提供了C3,C5 在默认情况下 修改C3,添加C5 C1,C2保持不变 打开 ConfigTable.IS_DDL_AUTO_DROP_COLUMN = true 删除C1,C2 修改C3,添加C5

多个ConfigStore合成一个ConfigStore

在代代码，运行时自定义场景中，经常会调用不同的方法生成多个ConfigStore也就是多组查询条件 但在调用service.querys时只能接收一个ConfigStore 解决方式： 生成一个ConfigStore 在合成查询条件时把ConfigStore作为参数输入，通过

复杂条件的合成

ConfigStore a1 = new DefaultConfigStore().and( "id11", 11).and("id12", 12); ConfigStore a2 = new DefaultConfigStore().and( "id21", 2

关于函数操作

在查询条件和查询列中经常需要函数，当然这样查询对性能影响非常严重，只是举例说明一下语法 SELECT  id,to_char(reg_time,'yyyy-mm') as ym FROM crm_user WHERE char(reg_time,'yyyy-mm-dd') LIKE

condition参数与query参数的混淆

在controller中查询数据时经常会用到： String status = "FINAL"; service.query("CRM_USER", condition(true, "TYPE_CODE:type"), "DATA_STATUS:"+status); 实际执行的

OR查询条件

应用场景:同一个输入框中输入用户编号或用户姓名或手机号都可以查到指定用户,以上参数会通过同一个key提交到后台

关于数组参数值

标准的url中一般是这样http://127.0.0.1/list?id=1&id=2&id=3 或者用form表表单提交三个name=id的input 也可以提交json格式{id:[1,2,3]} 以上三种情况condition("ID:[id]")都可以解析成WHERE I

关于自定义SQL中的变量赋值

String sql = "SELECT * FROM CRM_USER WHERE CODE = :PARAM_CODE"; DataSet set = service.querys(sql, "PARAM_CODE:1"); //生成SQL SELECT * FROM CRM_USER WHERE CODE = 1 //特别注意这以下情况 CODE:1与SQL中的变量匹配不成功时，SQL会

XML中自定义复杂SQL

文件格式: SELECT M.I

多数据源事务管理器bean.name

在存多数据源的情况下会创建多个事务管理器【为会么要创建多个事务管理器】 事务管理器在spring上下文环境中的命名也就是bean.name 如在默认数据源之外 又创建多个数据源a,b,c spring会针对默认数据生成一个默认事务管理器:transactionManager anyline

插入数组类型

pg数组库支持数组类型，在定义时可以这样 table.addColumn("TYPE_IDS", "INT[]"); //在原型基础上加[] 插入数组类型时，需要设置这一列的数据类型，否则会把数组拆开只取下标0的条目，因为不知道数据库中是数组类型 可以打开ConfigTable.IS_AU

插入或修改数据时如何判断插入边还是点

service.insert(table, data) 首先会根据table类型判断(EdgeTable或VertexTable及子类),如果判断不出来再根据data类型类型(EdgeRow或VertexRow及子类)

Neo4j基础操作

//以下说到的标签相当于关系型数据库中的表 //原生CQL创建节点 service.execute("create (d:Dept{name:'财务部', leader:'张三'})"); //创建多标签(表)节点 service.ex

MongoDB基础操作

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10;i ++){ MongoDataRow row = new MongoDataRow(); row.put("_id"

AnylineService

为什么有时update sql不执行

如果DataRow是通过查询数据库创建的，并且其中的值没有更新，则执行service.update时不会执行更新SQL

需要清空内容的列没有更新

默认情况下内容为空的列(“”或null) 不会出现在UPDATE SQL中

关于必须条件

 以“+”开头表示当前条件必须拼接 如condition("+NM:nm") 如果客户端提供了nm值，如http://localhost?nm=zh 则正常生成SQL:  SELECT * FROM TAB WHERE NM = 'zh' 如果没有提供nm值,如如http://localhost或 http://local?nm= 则生成SQL: 

关于IN条件

关于IN条件

关于默认值

关于默认值

关于or

OR条件构造相关复杂 可以根据http参数生成OR条件 或在java中取值生成OR条件

关于like

关于like

save与insert区别

save与insert区别

查询时设置主键

查询时设置主键

前端未提交数据情况下清空一列值

默认情况下前端不传值时，执行update时并不更新这一列 如 DataRow row = entity("ID:id","REMARK:remark","NAME:name"); service.save(row); 这时如果没有提交remark参数值，或remark值为空时，并不更新REMARK列 但有些情况下是前端需要清空一个属性值，有以下种方式 1.提交一个"NULL"的值 2.指定必须更新

AnylineService注入失败

还有可能没有依赖spring-jdbc，因为anyline以是provided形式依赖的，是为了方便项目修改版本。（更多provide依赖参考这里） 如果是spring-mvc项目可以依赖这个 <dependency> <groupId>org.springfram

关于几种OR条件查询的情况

//以下三种格式,只有cd取值成功时，条件才生效 //当cd=1,id=2时 WHERE CODE = 1 OR CODE =2 //当cd=null,id=2时 条件不生效 //当cd=1,id=null时 WHERE CODE = 1 service.querys("HR_USER", condition("CODE:cd|id")); //当cd=1时 WHERE CODE =1 OR

IN条件下多种参数格式的接收

对于标准的url格式 /list?id=1&id=2 以及标准的json格式 {id:[1,2]} 可以通过condition("ID:[id]")的形式接收 对于非标准格式如 /list?id=1,2 可以通过condition("ID:[split(id)]")的形式接收 最终都是生成SQL  WHERE ID IN(1,2)

关于分页参数

默认的分页参数名比较长: public static String DEFAULT_KEY_PAGE_ROWS = "_anyline_page_rows" ; //设置每页显示多少条的key public static String DEFAULT_KEY_PAGE_NO = "_anyline_page" ; //设置当前第几页的key public static

关于自动检测表结构

在执行数据库操作时，许多参数是以String形式获取到的,无法参数识别数据类型，如url中的参数 还有一些数据类型在Java中没有对应关系,如xml/josn/几何图形等 而有些数据库在执行SQL时会执行强类型检测。 不像我们平时用的MySQL在执行时会进行隐式转换，无论什么类型只要能转换成功就可以执行。 而PostgreSQL则要求jdbc参数与表结构对应，如果在va

关于更新部分属性(列)、忽略部分属性(列)

在实际操作中经常需要更新指定的列，或者忽略更新指定的列

关于insert或update时确定哪些列参与到insert或update中

关于insert或update时确定哪些列参与到insert或update中

查询数据库返回的数据字段全是大写，字段怎么设置返回小写

可以通过ConfigTable设置全局参数 ConfigTable.IS_LOWER_KEY = true; ConfigTable.IS_UPPER_KEY = false;

几个分页查询的示例

比较常用的分页是在controller中通过condition设置 service.querys("user", condition(true, "其他条件")) 这里的true表示需要分页 service.querys("user", condition(20, "其他条件"))&nbs

SQL中的变量及占位符格式

SELECT * FROM CRM_USER WHERE ID = :ID  以:标识的执行时直接替换  以::标识的执行时以?占位   NAME LIKE :NM + '%'   (NAME = :NM)   NAME = ':NM'   NM IN (:NM)  

统一添加查询条件

可以实现QueryInterceptor， prepare:表示在准备创建SQL之前触发，如果需要修改查询条件可以在这一步执行。 before:是在SQL执行之前触发，到这一步时最终SQL已经生成，可以用来保存查询日志 after:在before基础之上，多了SQL执行状态、查