Linux*

Hadoop Hbase 升级

Hadoop HDFS 与Hbase升级笔记

由于之前使用了hadoop1.0.2,hbase 使用的是hbase-0.92.1 但是一次事故导致元数据丢失,且修复元数据的类本身有BUG
所以摆在眼前的只有两条路:
1、修改hbase源码重新编译 hbase 修复BUG
2、升级到下一个版本,且这个版本已经修复了此BUG 从release node中看到 0.92.2及以后版本均修复了此bug
  所以决定升级到最新的稳定版 hbase-0.94.3 而此版本的hbase 和hadoop-1.0.4 的兼容性最好,所以hadoop 连带升级到hadoop-1.0.4

1. Hadoop升级步骤:
 (1)停止集群上的所有MR任务,包括Hbase(如果Hbase在使用中,先停掉,接着是zookeeper)
 (2)停止DFS(1、2两步也可以在hbase和zookeeper关闭后使用stop-all.sh脚本直接关闭)
 (3)删除临时数据,即在core-site.xml中设置的hadoop.tmp.dir的value所文件目录下的文件
 (4)备份HDFS元数据

Troubleshooting HOWTO: Bad hardware? MPSS? Configuration?

Are you having problems with your hardware (Cannot see your Intel(R) Xeon Phi(tm) coprocessor?  Sporadic accessibility?) or with the Intel(R) Manycore Platform Software Stack (Intel(R) MPSS) running reliably?

Attached to this post are PDF "flowcharts" that explain how you can troubleshoot the problem (note:  Both Linux and Windows flowcharts are available), and shows what information you will want to collect if you need to escalate your issue to your OEM provider or Intel.

介绍一种服务器缓存结构 --- 多级 Hash

       现在的服务器网络数据收发与存储没有不做缓存的。如果公司的重要数据存储在磁盘中,且数据接近静态但每天局有部更新而且也有大量访问,不做缓存不能发挥机器的高性能。

  • Sviluppatori
  • Sviluppatori Intel AppUp®
  • Studenti
  • Linux*
  • Server
  • C/C++
  • Intermedio
  • 基于 hadoop 文件系统以及 Hbase 的微博系统

    一、部署前提

    1.在Linux环境

    2.安装部署了hadoop

    3.安装部署了hbase

    4.安装了web应用服务器,如tomcat、或者jetty等

    5.部署struts2

    二、应用介绍

         以基于Hbase的hadoop为数据库,实现用户发布微博和,关注用户及等功能,涉及到Hbase表结构设计,相应实现的Java API等一些内容。使用hbase作为微博系统的数据存储平台有如下好处:根据微博系统的特点,微博用户数量庞大,且关注和被关注数据严重不相等,这些特点刚好可以通过hbase分布式处理数据的一些特性得以满足,如果使用旧的关系数据库可能对一个单独的服务器要求非常之高。

    三、部分实现

    由于篇幅较长,就用最常见的用户注册和登录来举例说明,其他功能其实都类似,总的架构来说都是比较熟悉的MVC,浏览器发送请求到服务器,通过struts分发请求,最终结果又返回到浏览器。

    1.用户注册/登录,前台页面就不一一描述了,就是普通的输入用户名密码然后点击注册/登录等。

    struts配置

    What collateral/documentation do you want to see?

    Do you have questions that you are not finding the answers for in our documentation?  Need more training, source code examples, on what specifically?   Help us understand what's missing so that we can make sure we develop documentation you care about (what is important, and what is nice to have)!   Thank you

    FAQS: Compilers, Libraries, Performance, Profiling and Optimization.

    In the period prior to the launch of Intel® Xeon Phi™ coprocessor, Intel collected questions from developers who had been involved in pilot testing. This document contains some of the most common questions asked. Additional information and Best-Known-Methods for the Intel Xeon Phi coprocessor can be found here.

    The Intel® Compiler reference guides can be found at:

    Оптимизировали, оптимизировали, да не выоптимизировали!

    Оптимизация? Конечно, каждый сталкивался с данной задачей при разработке своих, сколь-нибудь значительных, требующих определённых вычислений, приложений. При этом способов оптимизировать код существует огромное множество, и, как следствие, различных путей сделать это в автоматическом режиме с помощью опций компилятора. Вот здесь и возникает проблема – как выбрать то, что нужно нам и не запутаться?

    Iscriversi a Linux*