您的位置:杂志 > 《电信科学》 > 2017年 > 第01期
来源:《电信科学》2017年第01期  作者:汪保友;钱晶;袁时金;
选择字号

基于Hadoop的电信大数据采集方案研究与实现

收藏本文  分享

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义。首先简单介绍某运营商大数据平台采集的主要数据内容。随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案。继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象。最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系。实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果。(本文共计8页)......[继续阅读本文]

下载阅读本文订阅本刊

图书推荐

    相关文章推荐

    看看这些杂志对你有没有帮助...

    更多杂志>>