2022-07-20

1. 研报抽取接口中新增了以下操作逻辑：

• 机构组织的统计选举操作
• 组织机构实体与金融指标实体相关联的操作
• 金融指标变化内容的遍历赋值操作
• 金融指标有无具体数值的判断操作
• 在生成节点与边的过程中，将构建逻辑优化为：首先检查节点是否存在，如果不存在则生成该节点并将边的尾节点id赋值为当前节点id；否则到节点字典中寻找当前节点的id并赋值给边的尾节点id。最后检查边是否重复，如果不重复则将当前的边添加至边字典中

2022-07-21

1. 修改知识抽取接口中知识从抽取到入库的持久性存储过程的代码逻辑

2022-07-22

1. 编写新的问答接口

2022-07-25

1. 继续开发问答接口

2022-07-26

1. 初步完成新的问答接口
2. 写绩效考核表的相关工作

2022-07-27

1. 和前端联调问答接口的小bug

2022-07-28

1. 问答接口新增同名指标的时间属性检测操作以及相对应的遍历组装

2022-07-29

1. 完善了问答接口对待查询指标的处理逻辑

2022-08-01；

1. 在java中，递增不是原子性的操作，因为在递增过程中，任务可能会被线程机制挂起
2. 分析设计和原有企业图谱联合提问的后端处理逻辑

2022-08-02

1. 编写联合企业图谱提问的后端处理逻辑代码

2022-08-03

1. 继续实现昨天的逻辑场景

2022-08-04

1. 完成联合企业图谱进行提问的后端逻辑代码

2022-08-05

1. 查看图数据库技术在金融风控中的应用博客

2022-08-08

1. 学习git相关操作

2022-08-09

1. 在本地创建项目分支，调试项目，查找无法启动的错误原因

2022-08-10

1. Repository层位于业务层和数据层之间，将两者隔离开来，在它的内部封装了数据查询和存储的逻辑
2. 阅读spring-data-neo4j6.0.13的开发文档

2022-08-11

1. 继续阅读SDN开发文档

2022-08-12

1. 阅读完毕SDN开发文档

2022-08-15

1. 在电商图谱项目中测试部分企业图谱项目的老接口更换了SDN6.0版本的新注解后是否仍能使用

2022-08-16

1. 熟悉sdn6的@Node,@Relationship,@RelationshipProperties注解的用法

2022-08-17

1. 创建zhangyw_pro本地分支和远程分支，并将两者关联

2022-08-18

1.POJO是一个简单的、正规Java对象，它包含业务逻辑处理或持久化逻辑等，但不是JavaBean、EntityBean等，不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。

2. Neo4j中的@Query注解可以将查询到的复杂结果转换为单纯的java对象，查询到的数据会填充到这个对象中，这个对象紧接着会被序列化然后送到下游的不同应用中。为了满足上述特性，这个对象应该添加@QueryResult注解。以下为具体示例：

public interface MovieRepository extends Neo4jRepository<Movie, Long> {

    @Query("MATCH (movie:Movie)-[r:RATING]\->(), (movie)<-[:ACTS_IN]-(actor:Actor) " +
           "WHERE movie.id={0} " +
           "RETURN movie as movie, COLLECT(actor) AS 'cast', AVG(r.stars) AS 'averageRating'")
    MovieData getMovieData(String movieId);

    @QueryResult
    public class MovieData {
        Movie movie;
        Double averageRating;
        Set<Actor> cast;
    }

}

2022-08-19

1. 在类中定义其他sdk中的工具类时，final关键字慎用，因为在系统启动调用构造函数的过程中要对这个工具类进行实例化，可能会出现系统扫描不到这个工具类的情况（在用hades整合知识图谱电商项目中出现过）。
2. 项目的jdk升级为11时，内部用到了var关键字，然后maven install时报错，找不到符号。网上的解决办法。老员工的解决办法是在pom文件中新增了maven-compiler-plugin插件：

<plugins>
  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <configuration>
      <source>11</source>
      <target>11</target>
    </configuration>
  </plugin>
</plugins>

2022-08-22

1. 合并代码，推送代码分支
2. 构思查询任意三点之间路径的接口实现方法

2022-08-23

1. 查找Field enterpriseRepository in com.czb.fkgp.entkg.xxx required a bean named 'neo4jTemplate' that could not br found解决办法

2022-08-24

1. 翻阅SDN开发文档中关于neo4jTemplate部分，在项目中新增Neo4jConfiguration配置类，查找启动需要的EntityInstantiators类，修改对应pom文件中的spring-data-commons版本
2. 将queryPersonInfo接口相关的所有改动提交至svn远程仓库

2022-08-25

1. 将项目无法启动的原因定位到spring-boot版本与某些jar冲突
2. 搞了半天maven
3. 在eckg中添加Repository并测试

2022-08-26

1. git初始化相关操作
2. Git远程分支强制覆盖本地分支：git fetch --all && git reset --hard origin/develop(想要覆盖的分支名称) && git pull或者git pull --force origin develop:develop
3. Git强制推送本地分支到远程：git push -u origin develop

2022-08-29

1. 查找SDN6的repository查询进行投影的方法，尝试理解官方文档中的Because Spring Data Neo4j works heavily record-oriented under the hood, it is important to keep this in mind and not build up a result set with multiple records for the same "root node".这句话

2022-08-30

1. 撰写专利意见陈述

2022-08-31

1. 完成专利的意见陈述

2022-09-01

1. 完成enterpriseRepository中关于返回类型为ResultData接口百分之八十的升级动作

2022-09-02

1. 通过neo4jClient方式进行enterpriseRepository中GroupMember自定义查询类的投影操作，替换相应接口函数

2022-09-05

1. 编写LabelInfoResult类的投影操作

2022-09-06

1. 检查queryZSZHRelationGenealogy接口中的实体节点是否有自身扩散的行为，检查结果为没有

2022-09-07

1. 配合测试联调，修复bug，更新测试环境和验证环境的相关应用

2022-09-08

1. neo4j中case用法举例：match p=(:Person)-[:qmStaff|inv|tenholdmerge|qmInv*1..3]->(e:Enterprise {name:'xxx'}) where length(p) <= 3 unwind nodes(p) as point with case labels(n)[0] when 'Person' then point end as point with collect(distinct point) as persons return persons

2022-09-09

1. 通过反射泛型的方法对一个类的内部属性赋值

private static <T> void setProperty(Map<String, Object> properties, T t) {
    try {
        Field[] declaredFields = t.getClass().getDeclaredFields();
        for (Field declaredField : declaredFields) {
            PropertyDescriptor propertyDescriptor = new PropertyDescriptor(declaredField.getName(), t.getClass());
            Method writeMethod = propertyDescriptor.getWriteMethod();
            if (properties.containsKey(declaredField.getName())) {
                writeMethod.invoke(t, properties.get(declaredField.getName()));
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

2022-09-19

1. 完成专利的第二次审查意见的意见陈述

2022-09-20

1. 与政企研发部的开发人员开会沟通项目内容
2. 为其他开发人员提供问题解答

2022-09-21

1. 股权图.png
   
   查询控股人实际控股比例：
   MATCH (e:Enterprise {name:'上海起航'})<-[:hold]-(p) WITH e,p MATCH path=(p)-[:hold*]->(e) WITH p,REDUCE(x=1, a IN relationships(path)|x*a.insto) AS insto ORDER BY insto DESC RETURN distinct p.name, sum(insto) AS insto limit 1

2022-09-22

1. 给政企那边写查询给定的两个企业之间的三种投资关系的接口

2022-09-23

1.优化昨天写的借口

2022-09-26

1. 编写廉洁家书
2. 和政企研发部那边打电话讨论需求，编写查找路径交点的cypher

2022-09-27

1. match path1=(p)-[:inv|qmInv|tenholdmerge*..5]->(e1:Enterprise {name:{name1}}) with p, e1, path1
match path2=(p)-[:inv|qmInv|tenholdmerge*..5]->(e2:Enterprise {name:{name2}}) with p, e1, e2, path1, path2
where single(var in nodes(path1) where var in nodes(path2)) and single(var in nodes(path2) where var in nodes(path1))
with shortestPath((p)-[:inv|qmInv|tenholdmerge*..5]->(e1)) as shortPath1, shortestPath((p)-[:inv|qmInv|tenholdmerge*..5]->(e2)) as shortPath2
return nodes(shortPath1)+nodes(shortPath2) as commonEnt unwind commonEnt as res return distinct res
2. 开会讨论省资源厅的项目需求，分析思考如何求得共同投资人分别对每个企业的控制比例

2022-09-28

1. 通过session写昨天的接口

2022-09-29

1. 测试昨天的接口，遇到了neo4j死锁的问题，遂查找相关资料
2. 资料中这样介绍到: 通过事务函数得到的任何查询结果都应在函数中被消耗掉，这是因为当超出范围时，连接绑定的资源无法被正确管理，因此事务函数返回的值应为派生值而非原始值。在一个会话(session)中，同一时刻只能存在一个结果流，因此当一个查询的结果在另一个查询执行前被未完全消耗时，剩余部分会自动缓存在结果对象中，当查询结果数量很多时，结果的缓冲区就会很吃内存，出于此原因建议尽可能地消费掉当前结果

2022-09-30

1. 查找接口卡死问题过程中，发现是其中一种情况cypher查询超时，通过设置transaction超时时间并将四种情况封装在四个不同的seesion中进行查询，暂时解决了接口卡死的问题

2022-10-08

1. 开发查询两个企业间所有投资路径的接口和查询企业详细信息的接口
2. 撰写commonInvestorAndRatio的接口文档

2022-10-09

1. 引入dubbo服务时，需要在启动类上加以下注解@ImportResource(locations={"classpath:appCtx-dubbo.xml"})
2. 给政企研发部写接口文档
3. 调试数据治理那边给的dubbo服务
4. 阅读企业准入接口，开始梳理绘制流程图

2022-10-10

1. 尝试解决jdk11java.lang.classnotfoundexception:javax.xml.ws.bingingprovider报错问题，解决方法是在pom文件中添加

<dependency>
    <groupId>jakarta.xml.ws</groupId>
    <artifactId>jakarta.xml.ws-api</artifactId>
    <version>2.3.3</version>
</dependency>

2. 合并代码，解决冲突

2022-10-11

1. 绘制股权穿透接口的流程图
2. 在szytQueryServiceImpl中实现股权穿透接口

2022-10-12

1. 绘制企业准入的流程图

2022-10-13

1. 调整股权穿透接口查询参数，生成金科平台需要的服务json文件，将改造后的dubbo服务打包推送至maven仓库

2022-10-14

1. 查看企业准入的接口代码逻辑
2. 服务发布到openapi，和政企那边联调

2022-10-17

1. 编写企业准入接口
2. 绘制文件定时任务的流程图

2022-10-18

1. File.renameTo()方法注意事项：

• 如果被重命名的文件已经存在，那么renameTo不会成功
• renameTo成功后，原文件会被删除

2. 梳理绘制完成三个文件定时任务的流程图

2022-10-19

1. 优化查询两个企业路径接口的cypher
2. 股权穿透接口中过滤投资关系以外的节点
3. 备份neo4j社区版之前的数据，新建数据和索引
4. 写完了企业准入的接口

2022-10-20

1. 测试企业准入接口全流程正确性，发现无法写入文件的问题，正在排查中......

2022-10-21

1. 排查文件无法写入的问题，发现是参数传递错误导致
2. 修改定时任务的相关cypher

2022-10-24

1. 查看文件处理的异步代码
2. 给政企研发部提供测试数据

2022-10-25

1. 整理提交企业准入接口的相关代码

2022-10-26

1. 梳理图数据库的更新链路
2. 梳理省资源厅项目部署到测试环境时所需的材料

2022-10-27

1. 改造原kgp项目升级后的相关queryPersonInfo接口中
2. 查看省资源厅项目需要的九个表在原数据库中的大小

2022-10-28

1. 与数据治理联调中数集团的查询企业具体信息接口
2. 整理上测试的项目需要删除的冗余模块和代码

2022-10-31

1. 创建省资源厅项目测试需要的数据库和相应的数据库表
2. 统计省资源厅项目用到的配置项；删减提炼省资源厅项目代码

2022-11-01

1. 查找可用的用于部署项目的服务器
2. 搭建测试环境

2022-11-02

1. 优化省资源厅项目因图数据库升级导致的笛卡尔内积查询预警（尽量多用with关键字）
2. 测试企业准入接口在新数据库下的可用性

2022-11-03

1. 批量清空数据库表：select concat('truncate table ', table_name, ';') from information_schema.TABLES where table_schema = 'kgp_szyt' into outfile '/opt/data/table.txt'将查询结果直接导出到table.txt文件，再直接source 执行该文件即可。
   上述sql涉及到了mysql的一个配置项，即secrue_file_priv，这个参数用来限制数据导入和导出操作的效果，在mysql配置文件my.cnf的[mysqld]区域下配置：

• 如果这个参数设为空或"/"，则MySQL服务允许将将数据导出到任意目录。
• 如果这个参数设为一个具体的目录名，则MySQL服务只允许在此目录中执行文件导入和导出操作。这个目录必须存在且设置为mysql用户权限，MySQL服务不会创建它；
• 如果这个参数为NULL，则MySQL服务会禁止导入和导出操作。
• 如果没有这个参数配置，则Mysql服务默认是没有打开这个功能，即不能进行数据导入导出操作。

2. linux全盘查找文件命令：find / -name xxx
3. 重新修改企业接口内部逻辑

2022-11-04

1. 新建接口请求的相关流水表以及项目中的实体类
2. 添加省资源厅相关接口的记录流水日志逻辑

2022-11-07

1. 新增股权穿透、共同投资人、企业单向投资路径共计三个接口的请求流水记录操作
2. 修改中数集团中族谱数据的投资关系入库时的处理逻辑（大于1时直接除以100）
3. Mac安装brew: /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

2022-11-08

1. git stash使用方法：git stash save "temp" --> git checkout develop --> git pull --> git checkout own_branch --> git merge develop --> git stash list --> 查找名为temp的暂存区id --> git stash apply id --> git stash clear

2022-11-09

1. 配置mac环境变量
2. 对老项目个人信息查询接口做新版本SDN的适配，重新构建cypher

2022-11-10

1. 编写投产手册的图数据库搭建章节
2. 解决了服务类中无法依靠读取配置文件实例化neo4j驱动的问题，根源是项目启动过程中的类的内部加载顺序问题，可以用@PostConstruct注解解决

2022-11-11

1. 完善省资源厅的共同投资关系查询接口的返回码赋值逻辑
2. 完成投产手册中图数据库服务搭建章节

2022-11-14

1. 详读《针对刷单检测的多视角异构时态图神经网络模型》一文

2022-11-15

1. 清理图数据库四台服务器中的冗余文件，为省资源厅项目搭建验证环境
2. 结合银行业务场景构思专利内容
3. 查看neo4j官方文档，检查集群部署方法是否存在更新

2022-11-16

1. 搭建neo4j-enterprise-4.4.14核心集群

2022-11-17

1. 修改投产手册中neo4j集群服务搭建部分，新增jdk安装内容
2. 进行neo4j数据库认证的测试

2022-11-18

1. rz命令可以上传本地文件至服务器
2. 修改四台验证服务器的monitor密码和root密码；在验证服务器上安装配置jdk11时发现jdk11的环境变量在每次重新登入时都不会生效，需要重新source
3. neo4j4.4以后有个新函数：call db.schema.visualiztion()试一试，蛮有意思的

2022-11-21

1. 搭建省资源厅项目验证环境的数据库集群
2. 重新部署省资源厅项目测试环境的数据库集群

2022-11-22

1. 验证环境新建kgp用户，重新部署图数据库集群

2022-11-23

1. 修改投产手册
2. 验证neo4j-admin backup命令是否能够用于恢复集群中的单台数据

• 1.在集群中的每台服务器上执行：neo4j-admin backup --backup-dir=/tmp/4.4.9 --database=neo4j --include-metadata=all
• 2.在集群中的任意一台服务器上通过cypher-shell执行DROP DATABASE neo4j;
• 3.在集群中的每台服务器上执行neo4j-admin restore --from=/tmp/4.4.9/movies1 --database=neo4j
• 4.在集群中的任意一台服务器上通过cypher-shell执行CREATE DATABASE neo4j;
• 5.在集群中的任意一台服务器执行cypher脚本重建被恢复数据库的用户和角色：cat data/scripts/movies1/restore_metadata.cypher | bin/cypher-shell -u neo4j -p password -a localhost:7688 -d system --param "database => 'movies1'"

3. 修改企业准入接口逻辑，尝试为请求准入的企业单独赋予channel字段

2022-11-24

1. 统计目录下文件的个数(不包括目录)：ls -l | grep "^-" | wc -l
   统计当前目录下文件的个数(包括子目录)：ls -lR | grep "^-" | wc -l
2. neo4j运行时堆内存推荐配置命令：neo4j-admin memrec --memory=64g
3. 检查企业准入接口修改后，后续图数据库定时更新图谱任务的逻辑是否正确

2022-11-25

1. 查看neo4j配置文件官方文档
2. 省资源厅项目投产

2022-11-28

1.搜集资料构建专利的技术背景

2022-11-29

1. 完成知识图谱平台的维护手册的更新
2. 撰写年终总结

2022-11-30

1. cypher查找冗余的某个节点属性：match (e:Enterprise) with e.name as name, count(*) as num where num > 1 return name, num
2. 填写投产手册中更新neo4j索引约束的部分

2022-12-01

1. 查找定时任务扫描文件录入信息到图数据库过程中出现的节点信息分片录入的原因

2022-12-02

1. 撰写专利的说明书摘要
2. 构思专利在银行领域的应用场景

2022-12-05

1. 查阅电信诈骗洗钱流程的相关博文
2. 绘制电信诈骗在银行领域的洗钱流程图

2022-12-06

1. 撰写专利的权利要求书的权利要求1部分

2022-12-07

1. 撰写专利的权利要求书的权利要求2部分

2022-12-08

1. 撰写专利的权利要求书的权利要求3和4部分

2022-12-09

1. 撰写专利的权利要求书的权利要求5和6部分

2022-12-12

1. 配合进行tuGraph的性能测试：match (p:Person) with p limit 3 match (p)-[:ACTED_IN]->(m:Movie) return p,m

2022-12-13

1. 撰写专利的说明书的背景技术部分
2. 撰写专利的说明书的发明内容部分

2022-12-14

1. 撰写专利说明书的具体实施方式部分

2022-12-15

1. 完成专利说明书的文字部分

2022-12-16

1. 绘制专利说明书的说明书附图
2. 筛选中数工商数据的数据库表

2022-12-19

1. 绘制双视角异构时态图神经网络模型的架构图

2022-12-20

1. 查看廖雪峰的git教程

2022-12-21

1. 分析战略客户数字化管理平台的业务需求书

2022-12-22

1. 梳理工商数据的10个数据库表结构

2022-12-23

1. 完成《一种用于诈骗预警的双视角异构时态图神经网络方法与装置》的专利全篇撰写

2023-01-03

1. 零：即道。道可道，非恒道。没有意义，无须解释。
   一：太一。道生一。初始整体。
   二：乾坤阴阳。相生相克。
   三：天地人三才。人即意识，天地因意识而存在。
   四：四象。老阴老阳，少阴少阳。
   五：五行。金木水火土。春属木，绿色酸味，号发陈，万物滋生；夏属火，赤色苦味，号炎上，万物强盛；秋属金，白色辛味，号从革，盛极而衰；冬属水，黑色咸味，号闭藏，潜入隐秘；阕夏属土，黄色甘味，万物根本。宫商角徴羽，土金木火水。
   六：六合。木属东方，青龙镇守；火属南方，朱雀镇守；金属西方，白虎镇守；水属北方，玄武镇守；人独立于中央，属土。四方之外，人能查辨上下。即为东南西北上下四方六合。
   七：北斗七星。天枢贪狼，天权文曲，天璇巨门，天玑禄存，瑶光破军，开阳武曲，玉衡廉贞。
   八：先天八卦。乾坤，坎离，震艮，巽兑。
   九：九宫。乾坎艮震巽离坤兑中宫。
   十：天干。甲乙丙丁，戊己庚辛，壬癸。圆满不吉。
   十二：地支。子丑寅卯，辰巳午未，申酉戌亥。
2. 回顾项目代码，熟悉项目结构

2023-01-04

1. 编写选择排序，冒泡排序，二分查找功能函数

2023-01-05

1. 梳理创建工商数据的知识图谱schema

2023-01-06

1. 梳理创建工商数据知识图谱schema中的投资关系、子母公司关系

2023-01-09

1. 梳理创建工商数据知识图谱schema中的公司法人对外持股关系、公司管理人员对外持股关系

2023-01-10

1. 梳理创建工商数据知识图谱schema中的公司最终控股自然人对外持股关系，公司最终控股自然人担任法人企业关系，公司及投资者共同控制的企业关系，公司对外担保关系
2. 梳理创建工商数据知识图谱schema中纳税人违法事件信息、企业基本信息、企业舆情信息，企业主要人员信息

2023-01-11

1. 完成了第一版工商数据知识图谱的schema设计

2023-01-12

1. 排查老知识图谱项目的母公司查询接口问题

2023-01-13

1. prompt tuning即提示微调是针对具体任务，生成不同的提示模版，然后在全样本上进行微调评估，期间预训练模型的参数是不需要参与训练的；instruct tuning即指令微调是针对不同的任务，生成不同的指令，通过在若干个全样本任务上进行微调，然后再零样本任务上评估泛化能力，其中预训练模型参数是参与训练的。提示微调是激发模型的补全能力，指令微调是激发模型的理解能力。

2023-01-16

1. 阅读快速排序算法的思路

2023-01-17

1. 编写快速排序算法的程序代码

2023-01-18

1. 阅读编写归并排序算法的功能方法

2023-01-30

1. 熟悉战略客户数字化管理平台业务需求中关于图数据库能够提供的技术支持部分

2023-01-31

1. 规划工商外数据的年度项目实施计划

20230-02-01

1. 完成生产环境中neo4j 3.5.1版本和4.4.14版本图数据库备份恢复的容灾测试

2023-02-02

1. 为相关业务部门提出的客户组合贷款需求提供解决方案

2023-02-03

1. 查找反欺诈数据备份地址，恢复反欺诈图数据库，保证其可用性

2023-02-06

1. 总结大数据风控平台、省资源厅智慧交易平台的已有服务与功能

2023-02-07

1. 感冒浑身无力

2023-02-08

1. 感冒头疼

2023-02-09

1. 恢复期

20230-02-10

1. 从数据治理中心抽取8个外部工商数据库表中部分数据

2023-02-13

1. 从数据治理中心抽取25个外部工商数据库表中部分数据

2023-02-14

1.啥也没干

2023-02-15

1. 将36个工商样本数据库表中的数据导出至csv文件中

2023-02-16

1. 将csv文件中的十万个企业实体生成至工商知识图谱中

2023-02-17

1. 分析各个csv文件中的数据，按照实际情况导入了5个文件中的数据到工商知识图谱中

2023-02-20

1.分析各个csv文件中的数据，按照实际情况导入了12个样本表中的数据到工商知识图谱中

2023-02-21

1.分析各个csv文件中的数据，按照实际情况导入了9个样本表中的数据到工商知识图谱中

2023-02-22

1. 分析股权冻结数据库表，在工商知识图谱中完成数据的结构映射

2023-02-23

1. 检查出外部平台数据清单中关于人物任职表的注释错误，完成了人物任职表到工商知识图谱的结构映射，重新设计相关schema
2. 2016年前非全确实水的一匹，你不得不承认，曾经的[非全十月联考]就是钞能力关系户大乱斗，但是！教育部自从2016年一纸文件[非全改革]，把非全纳入和全日制一样的竞争赛道——一起初试、一起复试之后。非全的含金量，已经被官方坐实抬升。同样，请大家再用脑子投一票，想一想为什么国家要大力支持非全，让教育部联合五部门几乎每两年强调必须大力发展非全？

因为上层建筑，对于产业需求的供给适配人才亟待补血，应用型人才试场极度短缺，教育也是需要时间成本的，如果单方面发展全日制，那就绝对做不到以时间换空间。教育的时间成本，是无法让一个读书的应届生和有工作经验的人比的，绝对不能！
全日制的毕业有概率失业，而非全毕业100%可以继续投入工作
千万不要误解非全，非全的终极含义，不是要你拿着它去找工作的，而是拿着它给你既有的工作迈入新门槛的（我说的够含蓄了吧？）。

2023-02-24

1. 检查第一版工商知识图谱schema的合理性，添加股权变更关系schema及相关数据至工商图谱

2023-02-27

1. 分析非正常户、土地抵押、受益人详情三个表，完成了在工商知识图谱中完成数据的结构映射

2023-02-28

1. 写周报

2023-03-01

1. 查找相关资料，设计亿级工商数据量到neo4j的导入方案

2023-03-02

1. 编写sql获取长距离投资链路上的所有实体信息：

• create table extstg_edsp_basic_tmp_20230211 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_investor_tmp_20230210 t where t.investorid = b.entid)

• create table extstg_edsp_investor_tmp_20230211 as select * from p_cz_extstg_prd.extstg_edsp_investor b where exists (select 1 from extstg_edsp_basic_tmp_20230211 t where t.entid = b.entid)

• create table extstg_edsp_basic_tmp_20230212 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_investor_tmp_20230211 t where t.investorid = b.entid)

• create table extstg_edsp_investor_tmp_20230212 as select * from p_cz_extstg_prd.extstg_edsp_investor b where exists (select 1 from extstg_edsp_basic_tmp_20230212 t where t.entid = b.entid)

• create table extstg_edsp_basic_tmp_20230213 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_investor_tmp_20230212 t where t.investorid = b.entid)

• CREATE TABLE extstg_edsp_basic_tmp AS SELECT DISTINCT * FROM ( SELECT * FROM extstg_edsp_basic_tmp_20230210 UNION SELECT * FROM extstg_edsp_basic_tmp_20230211 UNION SELECT * FROM extstg_edsp_basic_tmp_20230212 UNION SELECT * FROM extstg_edsp_basic_tmp_20230213 );

2023-03-03

1. 编写sql获取长距离股东链路上的所有实体信息：

• create table extstg_edsp_basic_tmp_20230311 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_shareholder_tmp_20230210 t where t.invid = b.entid)

• create table extstg_edsp_shareholder_tmp_20230311 as select * from p_cz_extstg_prd.extstg_edsp_shareholder b where exists (select 1 from extstg_edsp_basic_tmp_20230311 t where t.entid = b.entid)

• create table extstg_edsp_basic_tmp_20230312 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_shareholder_tmp_20230311 t where t.invid = b.entid)

• create table extstg_edsp_shareholder_tmp_20230312 as select * from p_cz_extstg_prd.extstg_edsp_shareholder b where exists (select 1 from extstg_edsp_basic_tmp_20230312 t where t.entid = b.entid)

• create table extstg_edsp_basic_tmp_20230313 as select * from p_cz_extstg_prd.extstg_edsp_basic b where exists (select 1 from extstg_edsp_shareholder_tmp_20230312 t where t.invid = b.entid)

• CREATE TABLE extstg_edsp_basic_tmp_shareholder AS SELECT DISTINCT * FROM ( SELECT * FROM extstg_edsp_basic_tmp_20230210 UNION SELECT * FROM extstg_edsp_basic_tmp_20230311 UNION SELECT * FROM extstg_edsp_basic_tmp_20230312 UNION SELECT * FROM extstg_edsp_basic_tmp_20230313 );

2. 知是不断变化的，与时间无关，只与一一对应并且替代的逻辑有关。此刻的对某一媒介的知来源于上一次的行对该媒介产生的知。

2023-03-06

1. 在取数过程中发现了工商数据库中对外投资表中investorid字段含义的混淆问题，重新设计取数sql

2023-03-07

1. 编写sql获取投资记录表中的人物实体：
   create table extstg_edsp_person_tmp_20230210 as select emc, pername from p_cz_extstg_prd.extstg_edsp_person m join (select distinct investorid from extstg_edsp_investor_tmp_20230210 b where not exists (select 1 from p_cz_extstg_prd.extstg_edsp_basic t where t.entid = b.investorid)) c on m.emc = c.investorid group by emc, pername

2023-03-08

1. 从数据治理中心完成工商长链路对外投资信息的取数过程

2023-03-09

1. 完成长链路投资路径相关信息到neo4j的导入过程

2023-03-10

1. 设计规划剩余部分关系信息的取数逻辑

2023-03-13

1. 完成自生产环境中合作伙伴以及长链路股东信息取数过程

2023-03-14

1. 完成非正常户、分支机构、负面信息、股权出质四种信息的取数sql编写和取数过程

2023-03-15

1. 完成剩余共22种关系及附属信息的取数sql编写和建表过程

2023-03-16

1. 将捞取得到的不同关系数据进行合并归类，简化为30张数据库表进行索取。

2023-03-17

1. 完成企业资金交易链路数据的索取

2023-03-20

1. 完成企业客户资金交易链路图谱的构建
2. 缩小规模重新捞取了新的工商数据中投资关系的相关记录

2023-03-21

1. 完成缩小范围的工商取数sql的编写和建表过程
2. 建立了第二版企业客户资金交易链路图谱

2023-03-22

1. 熟悉反欺诈项目

2023-03-23

1. 回顾老知识图谱项目的csv数据更新流程
2. 调试反欺诈项目的maven依赖，阅读项目代码

2023-03-24

1. 分析深圳分行合规部关于交易资金流向的相关需求

2023-03-27

1. 将部分小范围工商数据导入图数据库中

2023-03-28

1. 完成了第二版工商知识图谱的构建生成

2023-03-29

1. 测试验证了知识图谱项目子模块中指定数据库名称的可行性

2023-03-30

1. 梳理金融知识图谱项目之间的模块关系，整理pom文件中的依赖关系
2. 查看spring-data-neo4j 6.0.13版本中关于Repository查询结果映射的方法

2023-03-31

1. 与供应链金融部对接企业客户交易链路的相关需求
2. 熟悉spring-batch技术栈

2023-04-03

1. 分析深圳分行项目需求书，绘制反洗钱业务优化需求流程图和可疑交易监测分析需求流程图

1744602361

2023-04-04

1. 编写接口测试spring-data-neo4j 6.0.13版本能否链接3.5版本的图数据库，结果可行
2. 商讨交易数据的项目存储方案，查找mysql对百万级数据进行group by分组的效率优化方案

2023-04-06

1. 模拟交易记录，参照电商知识图谱项目的batch代码开发交易图谱的批处理任务相应模块

2023-04-07

1. 查找交易图谱子项目无法访问数据库的原因
2. 分析处理深圳分行提供的可疑交易测试数据

2023-04-10

1. 解决spring data jpa在启动时无法读取数据库配置的问题，spring.jpa.hibernate.ddl-auto属性会指定数据库的初始化形式，生产环境一般不要这条属性
2. 从深圳分行的可疑交易数据中提取出合并后的交易记录，并在图数据库中构建交易图谱

2023-04-11

1.根据深圳分行提供的交易数据，建立对应的数据库表，抽象为项目的实体类
2.修改交易图谱项目中的批处理代码，完成交易记录到mysql的录入

2023-04-12

1. 与深圳分行的业务人员深入讨论可疑交易分析的需求细节和技术细节，撰写需求实施方案书与流程图

2023-04-13

1. 编写返回n个客户之间两两组合的情况的函数
2. 编写可疑用户筛查、可疑用户按照交易额排序发散的cypher

2023-04-14

1. 与深圳分行业务人员讨论可疑交易监测需求的实施技术方案
2. 编写交易记录数据到图数据库的建模过程代码

2023-04-23

1. 和深圳分行科技人员讨论取数逻辑
2. 和数据管理中心讨论供应链交易数据取数逻辑

2023-04-24

1. 查找不同服务器之间共享目录的实现方法
2. 完成深圳分行交易数据在批处理任务中从csv文件到图数据库的读取、存储、更新三个步骤的逻辑功能开发

2023-04-25

1. 通过查阅spring-data-neo4j官网文档设计知识图谱项目在运行过程中集群内部服务器宕机时的解决方案

2023-04-26

1. neo4j-java-driver连接因果集群：

private Driver createDriver( String virtualUri, String user, String password, ServerAddress... addresses )
{
    Config config = Config.builder()
            .withResolver( address - > new HashSet<>( Arrays.asList( addresses ) ) )
            .build();
    return(GraphDatabase.driver( virtualUri, AuthTokens.basic( user, password ), config ) );
}

private void addPerson( String name )
{
    String    username    = "neo4j";
    String    password    = "some password";
    try (Driver driver = createDriver( "bolt+routing://graph.neo4j.com", username, password,
                       ServerAddress.of( "192.168.0.11", 7687),
                       ServerAddress.of( "192.168.0.12", 8787 ), ServerAddress.of( "192.168.0.13", 9898 ) ) )
        {
            try (Session session = driver.session( AccessMode.WRITE ) )
                {
                    session.run( "CREATE (a:Person {name: $name})", parameters( "name", name ) );
                }
         }
}

2. 查阅neo4j技术博客，通过测试验证获得spring项目连接图数据库因果集群的配置方法

2023-04-27

1. 整理服务器资源，搭建数量规模为5台的图数据库因果集群
2. 验证上述因果集群在一次性宕机3台服务器后，知识图谱项目的查询功能是否仍能正常使用，换言之验证现有知识图谱项目是否支持同城双活，结果为支持

2023-04-28

1. 与数据管理中心沟通交易数据的取数进度
2. 模拟图数据库集群内部节点的neo4j应用崩溃现象，测试省资源厅应用相关服务的状态在应用重启前后是否存在差别，测试结果为存在。解决方案为应用不重启时无需修改配置项，应用重启后需要根据集群工作状态修改配置项或恢复相应节点的崩溃应用

2023-05-04

1. 模拟图数据库集群脑裂现象，验证集群能否保证数据的一致性和可靠性。现阶段测试结果为当集群内部节点数为5时，最大允许3台节点发生脑裂
2. 查看数据管理中心处理的供应链交易数据

2023-05-05

1. CentOS使用iptables禁止某IP访问
2. 经验证，neo4j集群发生脑裂时，集群中不同图库的leader角色会频繁变更，再恢复连接时，可能短时间并不能完成集群的恢复，此时可以将集群中每个节点的neo4j应用重启以便快速恢复集群原始状态，数据的一致性能够得到保证