注意力在哪里,就会走向哪里
suifeng · 共 144 篇文章
改进算法+改进策略 == 改进性能三位数
改进算法 原来采用A表与B表的差集进行新增同步, 考虑到有些表的新增时有个字段会在原来的基础上递增, 这样只需比较A表和B表那个字段的最大值, 就可以进行新增同步, 性能改进明显. 改进策略 数据量大的表都是有历史数据在里面, 就可以建立两个视图, 一个对应当日数据, 一个对于历史数据, 这些数据有个特点, 历史数据不变, 当日数据不断变化. 为此在变更同步是, 只需要考虑当日数据, 不需要考虑历史数据, 这样大量减少比较的时间, 性能改进相当明显. 改进性能三位数 原来一张表在变更更新时,都> 600秒, 现在全部变更更新时, 只要4.281秒 newniu ETL 目前功能 零, 代码自…
2009-02-15 19:59 · 1经验 · 评论(0)
编程元素---代码(重构==对代码进行编程)
前言 最近在思考编程的元素有那些,想了很多:如变量,运算符,函数,类等等,今天在重构newniu ETL时突然想到代码也是编程元素. 代码 今天在重构代码, 发现代码里面有很多重复的, 尤其是那种遍历的, 在ETL过程中都涉及遍历, 每种ETL都定义了一个存储过程来处理. 重构前 存储过程:初始ETL 从 etl_etls表中查询出需要"初始ETL"的etl loop 1..ROW_COUNT then 1, 拼接初始抽取sql 2, 执行sql end loop; 存储过程:增量1ETL 从 etl_etls表中查询出需要"增量1ETL"的etl loop 1..ROW_COUNT the…
2009-02-14 22:58 · 2编程学 · 评论(0)
编程领域---基础研究
更新 大家好,圈子已经建立好了, 欢迎加入 http://pipeline.group.iteye.com 代号 : 内部 口号 : 1,探索编程真谛,卸掉身心疲惫。 2,失败了就重来,成功了又继续。 前言 目前国内在编程领域的基础研究工作做的太少了,这使国人在基础方面就落后于国外.为了实现中国在编程领域的逐步崛起愿望,我决定从事这方面的基础研究,欢迎各位加入. 研究内容 编程元素 编程动作 编程活动 编程结果 研究原则 务实:来于实践,用于实践 科学:概念统一,完整重现 鼓励:大胆猜想,小心论证 研究计划 集思广益 分门别类 集中定义 推出标准 集思广益 组建一个圈子,收集每一位编程人员关…
2009-02-14 13:38 · 2编程学 · 评论(15)
数据库缓冲区命中率
select 1 - ((select to_number(value) from v$sysstat t where t.name = 'physical reads') - (select to_number(value) from v$sysstat t where t.name = 'physical reads direct') - (select to_number(value) from v$sysstat t where t.name = 'physical reads direct (lob)')) / (select to_number(value) from v$sys…
2009-02-11 22:21 · 1经验 · 评论(0)
WISDOM
WISDOM 宇宙---完全动荡,稳定成形 天体---自由组合,质量吸引 生物---大量繁殖,不断进化 社会---信息共享,群体协作
2009-02-11 10:02 · 1思索 · 评论(0)
bird-x 模仿hibernate操作excel
前言 java的朋友,你是否在用poi,jxl操作excel,然后进行如下繁琐的操作 行遍历 列遍历 读取数据 如果是,那么我推荐你使用bird-x,一个模仿hibernate的组件--姑且叫组件吧. bird-x把这些操作都封装起来了,你只需要像hibernate一样提供必要的信息,bird-x就可以直接给你个对象的list. 它可以像hibernate操作数据库一样操作excel. 一位4年java开发经验的同事说:不用要一天,用了要半天(可以提高一倍的开发效率). bird-x--处理流程 在配置文件里面配置excel的sheet与object的映射关系和校验内容 som解析excel…
2009-02-10 14:17 · 评论(2)
newniu ETL 0.5发布
改进 1, 对代码进行重构 2, 对文档进行改写 3, 重构到最后只剩下 设计文档 + 核心数据 有了[设计文档 + 核心数据], 然后进行 部署 开发 试运行 整个过程只需要10分钟. 函数式开发 我把此开发方式定义为函数式开发, 开发一个函数, 然后传参数, 然后返回一个可运行的系统. 需要源码的留下联系方式.
2009-02-10 10:13 · 3newniu-ETL · 评论(1)
垂直平台架构
=======垂直平台架构======== 定位平台 ----------- 目标平台 -------------- 战略平台 -------------- 决策平台 ---------------- 分析平台 ----------------- 管理平台 ------------------- 业务平台 ---------------------- 操作平台 ------------------------ 信息平台 -------------------------- 数据平台 ---------------------------- 软件平台 ---------------------…
2009-02-09 21:04 · 1思索 · 评论(0)
挑战自我-->超越自我
目标 每三个月,在组件,框架,语言三方面出一创新成果。 途径 动用全宇宙的智慧,来达到 更快的分析速度 更快的设计速度 更快的编码速度 更快的测试速度 更快的发布速度
2009-02-08 14:02 · 1境界 · 评论(0)
亮剑精神-->亮码精神
亮剑 哪怕明知对手是天下第一剑客,也要敢于亮剑,即使死在对手剑下也不丢人. 狭路相逢勇者胜! 亮码 哪怕明知对手是天下第一码客,也要敢于亮码,即使败在对手码下也不丢人. 代码相逢快者胜!
2009-02-08 13:51 · 1呐喊 · 评论(0)
统计1-N的1的个数------递归尝试
准备用递归做, 前109通过, 后面的不行了, 代码的复杂度太大,违背代码应该简单明了的原则。 <script> //alert('0'.substr(1) === ''); function count_1_from_1_to_N(N, index) { var first_char = N.substr(index,1); var last_N = N.substr(index+1); if (N == 0) { return 0; } else if (N < 0) { N = N * -1 } else if (N < 10) { return 1; } if (last_N ===…
2009-02-07 13:22 · 1思索 · 评论(0)
newniu ETL 性能测试报告
绿色是正常的, 而红色的有点离谱, 原因是由于那个要抽取的表关联了6张表, 还用了group by, 而且没有id, id是采用 t5.ID * 100000 + trunc(t2.DTDATE - to_date('2000', 'yyyy')) 拼接出来的 性能很需要改进.
2009-02-07 01:18 · 3newniu-ETL · 评论(0)
参禅静坐-->虚极静笃-->快速恢复脑力体力
前言 最近全力开发newniu ETL框架,脑力,体力严重透支-->躯体,大脑性能严重下降. 幸运 很幸运,我生在中国,我们的前辈留下了大量修身养性的文化遗产,我才有机会从古贤先圣那里寻求帮助. 参禅静坐 想象躯体和大脑,由喧嚣嘈杂的白天进入祥和安宁的夜晚,万事万物变得平定和谐. 虚极静笃 虚极如深海,静笃如高山,虚极静笃如海纳百山. 调节内息 暂停所有思绪 慢---慢---放---松 慢---慢---放---松 慢---慢---放---松 慢---慢---放---松 慢---慢---向外呼 慢---慢---向内吸 慢---慢---向外呼 慢---慢---向内吸 慢---慢---呼---- …
2009-02-06 11:32 · 2心理学 · 评论(6)
newniu ETL框架
前言 ETL工具能够在方面优化 体系结构 系统性能 开发效率 维护成本 说明:以前的活动结束. newniu ETL框架 源数据库(db1):Table1,Table2, ...,TablesN----------> 目的数据库(db2):TableX 源数据库(db1):视图 ------------newniu ETL----------> 目的数据库(db2)视图 要求:db1和db2中建立的视图结构完全一致的,包括:列名,列的数据类型, 列的含义; newniu ETL 功能 根据表名生成视图 根据视图进行ETL 四种同步机制 : 初始化同步,增量同步,变更同步1(不保留历史数据),…
2009-02-05 12:01 · 1呐喊 · 评论(11)
过时的技术? 过时的人才?
XXX将死 常常看到一些言论: 类已死, 接口万岁; java将死, ....; 数据库将死, ....; ..... 其实就在说, 这种技术过时了, 该用新东西了(大部分是self的). 回想 仔细回想一下, 它们真的死了么? 我敢说, 如果不用类, 不用java, 不用数据库, 绝大部分应用系统将死. 再回想一下, 技术真的会过时吗? 不会 技术只会积累, 不会过时. 过时 那么大家都在说过时了, 到底是什么过时了? 看到标题应该想到, 是人才过时了. 从Dos到Windows, 很多程序员失业了; 从面向过程到面向对象, 又有许多程序员失业了; 失业了的绝大部分是由于技术不过硬造成的,…
2009-02-04 13:21 · 1思索 · 评论(0)