hadoop

How Intel® QuickAssist Technology Accelerates Deep Packet Inspections and other Network Function Use Cases

Intel® QuickAssist Technology Introduction

Intel® QuickAssist Technology accelerates and compresses cryptographic workloads by offloading the data to hardware capable of optimizing those functions.  This makes it easier for developers to integrate built-in cryptographic accelerators into network and security applications.

Intel and Qihoo 360 Internet Portal Datacenter - Big Data Storage Optimization Case Study

The adoption of cloud computing creates many challenges and opportunities in big data management and storage. To resolve this, many independent software vendors and system integrators are working closely with worldwide IT solution vendors to use the latest technology and make improvements in big data storage. This paper discusses one such collaboration between Qihoo 360 Technology Co. Ltd.* and Intel to optimize the storage infrastructure in their Internet Portal Datacenter (IPDC).

  • Linux*
  • Server
  • ISA-L
  • Big Data
  • hadoop
  • Intel® Intelligent Storage Acceleration Library
  • Big Data
  • ubuntu 中安装 hadoop 记录

    Hadoop 版本:hadoop-1.2.1-bin.tar

    Jdk 版本:jdk-6u30-linux-i586

    需要的软件:VMWare 9ubuntu10.04

     

     

    首先安装vmware9,然后在其中利用ubuntu的镜像安装3个虚拟机,具体方法可以搜到

    在每个虚拟机中,执行以下操作:

     

    (1)创建hadoop用户组:sudo addgroup hadoop

     

    (2)创建hadoo用户:sudo adduser -ingroup hadoop hadoop

    Hadoop 0.22.0 及其 RAID 部署

            使用0.20.X系列版本的Hadoop快有一年时间了,主要集中在HDFS上。期间自己参与了部署Hadoop集群(1 Server + 20 PC),也参与了分析HDFS的源码。

            这几天,由于项目需要,转移到了0.22.0版本了,需要重新部署Hadoop集群。这次部署要牵扯到mapreduce项目下contribute中的raid。目的是:部署0.22.0版本Hadoop的集群,配置并试用其raid的功能。由于之前对0.22.0版本不熟悉,所以在部署集群前,准备先在Ubuntu上部署伪分布式的,熟悉相关文件的位置和使用。

            0.22.0版本伪分布式的部署和其他版本的没有什么本质的不同,主要是有一些细节需要处理,并需要熟悉整个项目相关文件的组织结构。下面主要记录一下在伪分布式安装和编译Raid时的一些问题和解决方法。

            1. 从hadoop-0.22.0.tar.gz解压后的目录可知,该版本相比于0.20.X系列目录结构有较大变化。这给一直使用0.20.X版本系列的人带来了一点儿麻烦,需要大致翻看一下各个目录都有什么。

  • Sviluppatori
  • Studenti
  • Linux*
  • Servizi cloud
  • Java*
  • Python*
  • Intermedio
  • Cdc
  • hadoop
  • Iscriversi a hadoop