经验总结:
1、20200312星期四。关键词:项目需要网页环境、服务器环境、需求清单、反馈问题
2、20200313星期五.关键词:数据源,不会的及时反馈问题
4、梳理历史项目:历史集成数据先把历史清单理清楚,并梳理数据交换过程抽取清单(包括数据分类,源库表名,源库链接方式,目标库表名,数据交换频率,抽取时间,交换名称,交换路径)
一、项目需求:
项目需求1:4月3号前,处理项目历史数据。包括数据质量、报表、数据字典、元数据采集、给前置机推数据。针对历史所有系统,已停用的系统不用做数据质量的检查
项目需求2:新数据的集成,数据质量检查、报表配置、给前置机推数。
项目需求3:固定源治理,固定源平台
二、工作日记
1/50、20200312星期四
关键词:项目需要网页环境、服务器环境、需求清单、反馈问题
9点给运维和开发分配今天的任务,计划9:20讲解今日工作。在次检查工作需要的环境,环境又报错,跟部署截图反馈问题。
项目经理突然找到我要核对某个数据,20分钟
这期间环境好了,立刻给运维开发讲解今日工作并录制视频。
下午1点项目经理跟我核对缺失字典的数据表,而我把本次项目需求外的系统名称也加进来了,恍然大悟没有看需求清单
。
看需求清单发现不知道怎么找对应的系统名,折腾了2个小时。
目前整体项目的清单还没列好,进度还需要不断跟自己的组长沟通
2/50、20200313星期五
关键词:数据源,不会的及时反馈问题
崩溃:早上8点59项目经理就找我沟通数据。沟通数据项目经理的思路就是我们看源头数据,然后就一张表一张表的核对,每个字段每个字段的看,哪个字段对应关系没找到后期还要更新还要维护。
核对了2个小时,这个项目经理核对数据就让我电脑屏幕共享,他的事情优先级就是最高的,如果不回消息3分钟内就会收到电话。
总之在核对源头数据之前一定要看清楚数据源链接,特别是针对我们这种一个数据分类多个数据来源,还有来源是停用。
给开发讲了今天的工作,继续给客户在推数据。下午核对了项目需求系统,整理了缺失字典的系统。
因为今天的工作前两天加班做了,本计划早上10点开始学习算法,结果做了很久项目上的事情,3点半开始学习算法。
感受:自己负责项目数据真的很心累,要做自己的工作,自己有不会的问题,同事会问问题,还要跟其他部门沟通,还要跟项目经理沟通。上午就做了30分钟自己的工作。
==================
==================
好吧我又在加班,给自己填坑,依旧是不明白数据需求
,自己没有拆分清楚(比如31个系统是哪31个系统名称)
刚才我上级直接问我做了什么:本周完成内容下周工作计划,然后我又加班去写。
刚才犯了一个错误:写下周计划有个地方写错了,哎不仔细,又要挨骂。
3/50、20200315星期天
开了2个小时的会议,我的周末…………
星期天下午的时候开了开了一个会议,因为自己第一次参与项目,害怕遗漏,所以录了视频。
在安排工时的时候,每一个模块都定了预计工时,而本次会议的主题就是讨论每个模块工时是否合理(当然更多是减少时间)。其实整个会议听下来还是比较懵的,自己也不敢发言,除了我其他人在公司都是三年以上的。
即使不发言有一点非常重要:当别人在预计自己工作工时的时候,一定要注意,如果预估的工时太低了一定要提出来,不然完不成任务,只能自己加班。
今天的收获就是每周要总结,并未下周列计划,大概的格式如下:
我突然明白为什么做这个项目很累:
之前自己领导安排自己工作的时候,她不会去测试工具是否可以用,只需要给我们安排相应的工作,如果工具报错是我们解决,而不是我领导解决。
这个项目每个模块如何做如何实施自己都要提前明白,提前发现问题提前解决。因为这个项目只有运维和开发支持,而他们并没做过数据工作,他们工作中遇见的问题他们不会主动解决,只会告诉你,然后还是自己解决。
如果在他们工作中发现问题才去解决,双方的时间都会耽误。特别是支持的人员,会觉得报错了那我就不做勒,等错误解决了我在来做。
最近失眠特别严重,就是11点上床躺着12点还没睡着,为什么最近睡不着,不知道为什么每天自己一直在忙工作而留给自己学习的时间却很少。就感觉这个项目很多问题,理不清也解决不完。把项目中遇见的问题写下来吧。
4/50、20200317星期一
今天依旧在家远程办公,再次核对需求清单,拆分项目时间(最大时间为5天)。
在次核对功能清单时才发现,为什么我一直分不清31个系统,即使31个系统指什么。他们在梳理数据清单的时候,有9张表(数据集)也称为9个系统,系统中重复的系统也算的2个系统名,导致我一直分不清31个系统。
总之很多坑吧,反正别人给的需求清单不了解的一定要问清楚,理解清楚。
举几个例子: 31个老系统,36个新系统,停用系统。
老系统包含什么系统,新系统包含哪些系统。他们功能清单新系统老系统写得很坑,把数据集也当做系统称呼
针对升级项目有3点吧:
1、先处理历史数据,在集成新数据
2、31个系统中其中已集成29个系统。他们间对应关系
3、在梳理数据质量的时候分类用新系统还是用老系统的系统名称
4、遇见不清楚的地方一定要问明白,并及时反馈。
突然自己就长大了,好想回到刚毕业的时候。那时候一切刚好。晚安
5/50、20200317星期二
今天在公司上班,人很少。
上午依旧在处理遗留问题,主要是历史数据存在大量源库链接不上,导致历史数据无法判断其数据质量的好坏,无法进一步修正数据。不知道为什么我做这个居然整理了了上午的时间。
主要是在跟项目经理沟通数据问题,找产品部署的帮忙修改产品bug。
今天在整理数据质量的时候发现一个问题,虽然按照系统分类,写了相应的人员,但是在做分类工作的时候还是回遇见问题。
下午开了需求评选会,就在静静的听别人分享。
比如在判断历史数据质量的时候。之前没列出来的都会重新去找,比较麻烦。做某项工作的时候可以做一个累计的,比如:
- 多少个需要配置数据质量规则,多少个系统不配置规则原因是什么?
- 需要配置系统规则明细:
- 问题系统名称:
6/50、20200318星期三
给自己定了个计划,连续写项目计划50天。今天又加班到8点
做项目最大的问题就是不知道还有什么事情要做。之前一直不知道给运维给开发布置什么工作,特别着急。
后来发现资源库还没梳理,历史数据很乱。主要两点:
1、数据库业务数据表很多,不清楚有用的表不用的表,在用的表更新频率是怎样的?
2、历史数据缺少90%字典,不知道他们之前怎么把项目交给客户的。丢给我一堆一期的资料,然后自己当初找数据字典的时候只查看了一个文档,没有多看资料。
所以决定让他们把资源库完整梳理一遍,格式如下:
因为要修改历史配的报表,没修改过报表,所以下午的时候一直研究如何修改历史报表查询条件,插入条件如何设置如何修改。毕竟要让开发做,所以流程自己要先熟悉先了解。
今天最大的感悟就是:历史项目数据集成作业、频率需要理清楚。历史字典需要完善。终于知道项目需求了,所以项目需求里面的一定要问清楚,有不懂的地方就问。
之前自己项目需求不清楚也是有原因的,毕竟他们把一张表也说成一个系统谁知道呀。摸着石头过河。
7/50、20200319星期四
今天上午依旧在梳理修改历史数据集的逻辑。
出现个问题:就是挂的数据集只有247个,但是配置了500多个报表(有废弃的报表,但是没有删除)。如果根据数据集名称搜索报表就会出现问题,可能