英特尔 Kaggle 竞赛技术参考

简介

2017 年3 月15日,英特尔携手 MobileODT*(MobileODT* 公司致力于向全球每位女性普及宫颈癌筛选)在 Kaggle.com 网站推出人工智能竞赛。Kaggle 是知名的数据相关竞赛的领先平台,通过该平台,公司可以发布建模问题,专业人士、开发人员和研究人员以竞赛的形式提供最佳解决方案。

本概述为参加该项竞赛的选手提供了技术指南和各种资源。在这里,您可以找到精选的英特尔® 工具入门资料、优化的框架、推荐的技术视频和书面教程。此外,您还可以找到登录动手实践远程访问计算环境的操作说明,Kaggle 竞赛选手可以使用这个环境。

本次竞赛活动的总奖金为十万美金。分为一、二、三等奖和特别奖。广大的国内开发人员,肯定已经摩拳擦掌,跃跃欲试希望在这一国际舞台上一展身手。特别奖将颁发给最佳使用英特尔开发工具的参赛选手。关于本次竞赛的具体活动信息以及细则,请访问:https://www.kaggle.com/c/intel-mobileodt-cervical-cancer-screeningKaggle上的竞赛专区)。

英特尔开发人员专区,为了帮助大家充分熟悉和利用相关资源,特将有关参考信息整理汇总,作为独家参赛宝典,奉献给每一位参赛选手。我们将不定期在英特尔开发人员专区人工智能专区,以及微信微博上为大家提供更多的技术参考资料。祝大家在数据中获得乐趣,取得理想的成绩。

 

英特尔® 深度学习 SDK 简介

什么是英特尔® 深度学习 SDK?

英特尔® 深度学习 SDK 是一套用于开发、训练和部署深度学习解决方案的工具。该 SDK 包含的训练工具和部署工具可单独使用或在完整深度学习工作流中配合使用。

特性:

  • 直观地设置、调优和运行深度学习算法
  • 充分发挥深度学习部署的推断性能

获取英特尔® 深度学习 SDK

英特尔® 深度学习 SDK:安装指南

您无需手动安装任何额外的软件,因为安装包中含有 Docker* 容器,该容器包含所有必要的组件,例如 Caffe* 的英特尔® 分发版框架及其先决条件,并提供了运行训练工具的环境。

英特尔® 深度学习 SDK 训练工具

借助自动实验和高级可视化,准备训练数据、设计模型和训练模型。简化面向英特尔平台优化的常用深度学习框架的安装和使用。

开始使用英特尔® 深度学习 SDK

该视频介绍了英特尔® 深度学习 SDK。数据科学家和软件开发人员可以通过深度学习 SDK 简化安装工作,利用英特尔硬件上常用的深度学习框架轻松准备模型,在英特尔® 架构上优化训练和推断性能。该视频主要介绍了训练工具,演示了利用 LeNet* 拓扑和 MNIST 数据集的模型训练。

深度学习快速入门

该视频展示了使用英特尔® 深度学习 SDK 的整个深度学习流程。

使用英特尔® 深度学习 SDK 训练图片识别模型

在这个案例研究中,我们探索了 LeNet* - 一种出色的面向手写数字识别的图片识别拓扑之一,并展示了如何在面向英特尔® 架构优化的 Caffe* 上使用训练工具直观地设置、调优和训练国家标准技术研究所数据集。

英特尔® 深度学习 SDK 问题咨询

可在此向其他英特尔® 深度学习 SDK 用户咨询问题并分享信息。请访问相关网站支持页面,获取更多文档。

 

英特尔® 优化的 Caffe*

什么是英特尔® 优化的 Caffe*?

Caffe* 是一种深度学习框架,适用于卷积网络和全连接网络,最近又添加了递归神经网络。各种 Coffe 分支支持广泛的任务。面向英特尔® 架构进行了优化,可提供主 Caffe 的所有优势,同时又添加了 CPU 优化型功能和多节点分配器训练。

如何安装面向英特尔® 架构优化的 Caffe*

该视频介绍了如何安装面向英特尔® 架构优化的 Caffe*。

借助面向英特尔® 架构优化的 Caffe* 来训练和部署深度学习网络

本文详细介绍了如何构建面向英特尔架构优化的 Caffe*,如何使用一个或多个计算节点训练深度网络模型,以及如何部署网络。此外,本文还详细介绍了 Caffe 的各种功能,包括如何优化、提取和查看不同模型的特性,以及如何使用 Caffe Python API。

  • 面向英特尔架构优化的 Caffe 目前集成了最新版英特尔® 数学核心函数库(英特尔® MKL-DNN),专门面向高级矢量扩展 (AVX)-2 和 AVX-512 指令优化,英特尔® 至强® 处理器和英特尔® 至强融核™ 处理器等均支持这些指令集。也就是说,面向英特尔® 架构优化的 Caffe 包含 BVLC Caffe 中的所有优势,能够在英特尔架构上高效运行,并且可用于跨不同节点的分布式训练。 

借助 Caffe* 深度学习框架充分利用 IA

该视频探讨了深度学习和机器学习之间的一些区别。此外,还探讨了如何借助 Caffe* 充分利用英特尔架构。

 

有兴趣构建自己的框架?

了解英特尔® 数学核心函数库-DNN

英特尔® 数学核心函数库-DNN(英特尔® MKL-DNN)可加速数学处理和神经网络例程,从而提高应用性能并缩短开发时间。英特尔® MKL-DNN 包括高度矢量化和线程化的线性代数、快速傅里叶变换 (FFT)、神经网络、矢量数学和统计函数。充分利用所有处理能力的最简单方法是使用精心优化的数学库。

  • 英特尔® 数学核心函数库-DNN 中的 DNN 基元 深度神经网络 (DNN) 在媲美甚至超越人类能力方面获得广泛的成功。如今,DNN 已被用于图片识别和视频与自然语言处理,以及解决复杂的视觉理解问题,例如无人驾驶。英特尔® MKL-DNN 推出了 DNN 域,后者包含必要的函数以加速最常见的图片识别拓扑,包括 AlexNet、VGG、GoogleNet 和 ResNet。
  • 获取英特尔® MKL-DNN

Python* 的英特尔® 分发版

Python* 的英特尔® 分发版提供了便捷的工具和技术获取渠道,可支持您在现代英特尔平台上的所有 Python 应用获得强劲性能。无论您是经验丰富的开发人员还是寻求加快工作流速度的数据科学家,Anaconda提供支持的 Python* 的英特尔分发版都可提供易于安装的性能优化型 Phthon,能够满足您最严苛的要求。

  • 即购即用的全包式分发版可加速核心 Phthon 包,包括 NumPy、SciPy、pandas、scikit-learn、Jupyter、matplotlib 和 mpi4py。它集成了强大的英特尔® 数学核心函数库-DNN、英特尔® 数据分析加速库和 pyDAAL、英特尔® MPI库,以及英特尔® 线程构建模块。
  • 获取 Python* 的英特尔® 分发版

 

远程访问英特尔计算资源

为了支持英特尔 Kaggle 竞赛选手的计算需求,英特尔提供了支持远程访问的计算资源。这些资源专为批量模式任务而定制,不支持 GUI 模式的框架或工具。您也可以使用自己的计算资源完成竞赛。

请遵循以下步骤请求和使用资源

登录 URLhttps://colfaxresearch.com/kaggle-2017/

登录所需的密码KAG17CFX

访问截止期限:截至太平洋时间 6 月 20 日中午 12:00

包含的内容

成功连接后,您将登录到一个 batch farm 的基于 Linux 的头节点。在那里,您可以加载代码和数据、编译以及向队列提交计算。排队任务完成后,结果将出现在您的主文件夹中。

  • 任务安排在英特尔® 至强融核™ 处理器 7210(代号 Knights Landing)上进行。
  • 每颗处理器拥有 64 个内核,支持 4 路超线程。
  • 每颗处理器可访问 96 GB 平台 RAM (DDR4) 和 16 GB 配置为扁平模式的高带宽内存 (MCDRAM)。
  • 每颗处理器上一次只运行一项任务。
  • 您将获得 200 GB 的文件存储配额。
  • 您的主目录对其他用户不可见。
  • 您的访问期限过期后,您在集群上的主目录将被删除。

预编译的优化软件

集群上提供面向英特尔® 架构优化的软件,包括英特尔® 至强融核™ 处理器。

  • 英特尔® Parallel Studio XE 集群版及随附的工具和库:
    • 英特尔 C、C++ 和 Fortran 编译器
    • 英特尔® MPI 库
    • 英特尔® OpenMP* 库
    • 英特尔® 线程构建模块库
    • 英特尔® 数学核心函数库-DNN
    • 英特尔® 数据分析加速库
  • Python 的英特尔® 分发版* 2.7 和 3.5
  • Caffe* 的英特尔® 分发版

远程访问支持

如欲咨询登录和访问问题并获得相关支持,

请发送电子邮件至 support@colfax-intl.com

有关编译器优化的更完整信息,请参阅优化通知