注意力在哪里,就会走向哪里
suifeng · 共 144 篇文章
信息系统建设理念---四化理念
四化理念 数 据 规 格 化 处 理 自 动 化 信 息 集 中 化 操 作 人 性 化 实现了[数据规格化], 就很容易做到[处理自动化], 实现了[处理自动化], 就很容易做到[信息集中化], 实现了[信息集中化], 就很容易做到[操作人性化]. 下面这个是按照四化理念实践的结果 http://pipe-line.iteye.com/blog/321719 share more, learn more!
2009-02-01 23:54 · 1呐喊 · 评论(0)
ETL通用解决方案---oracle+存储过程 实现
方案理念--四化理念 数据规格化 处理自动化 信息集中化 操作人性化 架构 通过视图实现来至两个不同数据库的表的结构完全一致, 在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下. ETL ---初始同步 delete from ods_table; insert into v_table select * from db_table; commit; ---新增同步 insert into v_table select * from db_table t where t.id not in (select id from v_table); commit; ---变…
2009-02-01 23:42 · 3newniu-ETL · 评论(0)
代码学-代码力学
动力 内在动力,外在动力 外在动力 吸引力,压力 内在动力 1,想象力,思考力,创造力,整合力 2,注意力,感知力,记忆力 注意力 == 吸引力 + 内驱力
2009-01-30 21:05 · 2代码学 · 评论(0)
宇宙学-信息论
I =f(E) I:信息量 E:转换的能量 f:增函数,猜测 f(E) = E^2; 能量转换为信息的关键元素---信号 对 是信号把能量和信息关联起来了. 我们感知信号, 然后从信号中提取信息. Yes! 就是那样的.
2009-01-30 21:02 · 2宇宙学 · 评论(0)
代码学-代码方程
代码方程(简化模型) Q * M = (1/2) * F * t^2 Q:代码数量 M:代码质量 F:写代码的动力 t:写代码的时间 推导 Q = v * t v:写代码的速度,t写代码的时间 一段时间内完成的代码量等于写代码的速度乘以写代码的时间。 v = a * t a:写代码的加速度。 ....... Q=(1/2) * a * t^2 a=F/M ....... Q * M = (1/2) * F * t^2
2009-01-27 17:39 · 2代码学 · 评论(0)
宇宙学-WM宇宙观
我们如何完成我们的工作? 用工具呗! 工具在那里? 工具箱里。 。。。 环境-->平台-->空间-->设施-->工具|----|do our works。
2009-01-27 17:18 · 2宇宙学 · 评论(0)
ETL面临的问题
ETL面临的问题 一, 数据同步 二, 数据关联 一, 数据同步 业务系统的数据库变化了, 怎么同步到DW中, 常见方法如下 1, 全部删除, 重新导入 优点 : 简单 缺点 : 无法保存历史记录, 时间代价大 2, 时间戳增量更新 优点 : 简单, 快速 缺点 : 必须有时间戳字段 3, 全表对比增量更新 优点 : 限制条件少 缺点 : 时间代价昂贵, 处理复杂 二, 数据关联 数据仓库中保存维度数据的历史版本, 如同一个公司, 在2008年名称叫"股份A公司", 2009年1月1日升级了叫"集团A公司", 原来的版本1, 现在版本2; 很显然2008年以前的交易数据, 我希望看到的收款公…
2009-01-20 11:11 · 3newniu-ETL · 评论(0)
数据仓库新玩法---横纵式DW + 横纵式ETL
从用途说起 DW : 用于分析的数据平台 ODS : 用于过渡的转换平台 ODS 1, 集中 将不同数据库,不同数据源的数据统一集中存储 2, 隔离 通过ODS隔离数据仓库和业务系统数据库, 可减轻对业务系统的压力 3, 实时+明细 存储实时的明细数据, 可以据此生成报表 横式DW + 横式ETL 替代 ODS 1, 集中异构数据源 将不同数据库,不同数据源的数据统一集中存储到此仓库内 2, 横向抽取 只做横向抽取(抽取需要的行), 即是表结构不变, 只抽取历史数据,对于那些刚保存,或没有审批通过的数据不抽取. 3, 定时抽取 按照抽取策略定时抽取, 如:秒级, 分级, 时级. 纵式DW +…
2009-01-20 09:12 · 3newniu-ETL · 评论(0)
数据库设计的几点建议
前言 最近在开发ETL,开发过程中发现数据库中设计和处理的一些缺陷,如果能改变这些缺陷,那将更好. 缺陷 没有录入日期 没有修改日期 有上面的但是没有使用,或使用了一部分 没有录入日期和修改日期,又不允许动原来的数据库,做增量抽取的难度不是一般的大. 建议 每条记录加上 录入日期,修改日期 等时间信息 每条记录加上 职责,人员,岗位,部门,公司 等环境信息 (用ID) 每条记录加上 变更类型,变更次数,变更日期,数据年龄 等版本信息 加入这些信息后将是可查找,可追溯,也方便二次开发,尤其是ETL的开发.
2009-01-19 10:11 · 1经验 · 评论(0)
pipeline的开发理念
1,开发理念 用脑想百遍,用嘴说十遍,用手敲一遍。 2,分析理念 从纵向,横向,时向,一向,套向,植向进行分析。 3,设计理念 不拘泥于任何形式,去掉一切多余的。 4,编程理念 不管三七二十一,先搞一个hello world再说。
2009-01-17 13:32 · 3pipeline · 评论(0)
伟大的MVC模式
前言 省略. 伟大的MVC模式 MVC模式之所以伟大,是因为它符合大脑的工作原理。 大脑在某个时间点关注的内容是唯一的,而MVC恰好把那些杂糅在一起的东西分成外观和内容; 这样人们就能在想关注外功的时候就看V,想关注内容的时候就看M。 MVC是一种架构,在JGraph中可以看到更细小的结构: mxPoint(位置) mxRectangle(大小) mxCellState(外观) mxCell(内容) mxGraph组织结构如下: <mxGraph> <mxIGraphModel> < mxCell> < mxCell> </mxCell>* </mxCell> </mxIGraphModel…
2009-01-15 23:51 · 1呐喊 · 评论(0)