云环境下的mapreduce任务调度算法 No.14750
已下架
招募角色:
金额￥1,000
类型
周期
20 天
报名人数 2 人
No.14750
已下架
云环境下的mapreduce任务调度算法
其他
周期
20 天
金额 ￥1,000
技能领域
未指定技能领域
项目描述
任务内容(不少于100字)
理解工作流模型、MapReduce 编程模型及云计算、Hadoop 相关环境，熟悉并掌握工作流和MapReduce 中使用的各种调度算法，明确算法设计内容和目标， 实现基于MapReduce 作业的工作流实例的最大完工时间最小化的优化算法。工作流中的各个节点可看作是MapReduce作业。由于MapReduce 作业执行过程中的相互依赖性，截止期的不合理划分导致相当多的作业无法在截止期内完成。同时，未考虑作业截止期的带宽分配使得Map 阶段和Shuffle 阶段的数据传输时延相当大，极易导致不恰当的任务和资源间的匹配进而出现较长的作业完成时间。本课题着重研究基于MapReduce 作业的工作流调度优化问题，主要思想是通过已完成MapReduce 作业时间来预测当前各个MapReduce 的处理时间，对截止期进行合理划分; Map 和Shuffle 阶段的数据传输中，考虑各个作业的截止期对数据进行传输，根据得到的精确数据传输时间对map/reduce任务与资源进行匹配。同时在匹配过程中充分考虑数据本地化和作业截止期，保证作业能够在截止期之前完成，从而使得所有工作流实例的最大完工时间最小。
招募要求
希望有擅长算法的老铁助我一臂之力，本科生毕设，有参考文献，有相关资料和参考方法，相当于把别人代码重构一下就行，苦于最近没时间写所以特来求救。