案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
分享嘉宾：
杨林三-辉羲智能
关于辉羲智能：
辉羲智能致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，运用独创性“数据闭环定义芯片”方法学，助力车企构建低成本、大规模和自动化迭代能力，实现优质高效的自动驾驶量产交付，引领数据驱动时代的高阶智慧出行。
分享提纲：
1. 创业公司中，如何使用Alluxio？
2. 从0-1使用 Alluxio 的过程（调研-部署-上生产）。
3. 实践经验分享。扫码观看完整分享
分享主题：
《 Alluxio 在自动驾驶模型训练中的应用与部署》
自动驾驶数据闭环
这种做了标注的数据，会被拿去做训练。典型的一些任务，比如目标的检测、车道线的检测、或者更大的端到端的模型。模型训练好了之后，还要做一些仿真验证。验证完再把它部署到车上面，再去跑数据，在这个基础上再去采更多的数据。就是这样的一个循环，不断的去丰富数据，不断的去构建性能更好的模型。这是整个训练，数据闭环要做的事情，也是现在自动驾驶研发里面较核心的事情。
算法训练：NAS
我们在选用 Alluxio 之前，是通过 NAS 系统充当缓存的作用，把对象存储的数据拉到 NAS 上面，最后再用不同的模型，把数据 load 进来进行训练。这是使用 Alluxio 之前，大概的训练流程。
1
第一是并发性能比较差——NAS 我们可以理解成它就是一块大的硬盘，当只有几个任务一起跑的时候，还是比较够用的。但是当有几十个训练任务同时进行、很多模型在训练的时候，往往就会出现卡死。我们曾经有一段时间卡死非常严重，研发每天都叫苦不迭。卡得严重以至于可用性非常差、并发性能很差。
2
第二是管理困难——每一个人都用自己下载的脚本，然后把想要的数据下载到自己的目录下面。另一个人可能又自己去下另外一堆数据，放到NAS的另外一个目录下面，这样就会造成 NAS 空间满时很难做清理。当时我们基本都是当面或者微信群沟通。一方面是效率特别低，依靠群消息管理会滞后。另外一方面，也会因为手动 remove ，导致一些风险。我们曾经出现过 remove 数据时，把别人的数据集给删掉的情况。这也会造成线上任务区域的报错，这是另外一个痛点。
3
第三是空间浪费——不同人下载的数据放在不同目录下，有可能同样一帧数据会出现在好几个数据集，存在比较严重的空间浪费。
4
第四是使用很复杂——因为 pkl 里面的文件格式不相同，使得下载逻辑也不一样，每个人都要单独去写下载程序。
算法训练引入 Alluxio
1. 在并发性方面
2. 通过手动清理或者管理会非常麻烦
√
效率大大得提升；
√
可以避免因为误删导致的安全性问题；
√
解决了重复数据的问题。
以上是从逻辑层面解决了我们刚才讲的各种各样问题。下面讲一讲，我们整个落地的历程，怎么从 0 到 1 实现 Alluxio 从开始的 POC 测试，到各种性能的验证，再到最后怎么样部署、运维。我们的一些实践经验。
Alluxio 部署：单机房
首先，我们可能会在单机房里部署，就是一定要临近 GPU，部署到 GPU 节点上。同时利用之前 GPU 上很少用的 SSD，把每个节点都利用起来，然后把 FUSE 和 worker 部署在一起。FUSE 就相当于客户端，worker 就相当于一个具有内网通信的缓存小集群，做FUSE 的服务。最后对应的通过 worker 自己对底层的对象存储做通信。
Alluxio 部署：跨机房
还要注意，不同的 endpoint 要注意内网和外网的区分，比如集群1的 Alluxio，挂载集群1的 endpoint 内网，在另一边就是外网，反之性能就会大打折扣。挂载之后我们可以通过同样的路径去访问不同集群上面不同 bucket 的数据，这样其实整个架构就会变得非常简单，这是跨机房部署方面。
Alluxio 测试：功能
√
K8S 上访问 PVC 的配置；
√
数据集的组织方式；
√
作业提交的配置；
√
访问路径的替换；
√
最终访问的脚本接口。
以上遇到的诸多问题可能都要做验证，至少我们要通过它选一个典型任务，然后做一些改造，最后才能把 NAS 比较平稳的换成 Alluxio。
Alluxio 测试：性能
而 Alluxio 这边，整个测试过程，节点随着运行实例的增加，可以达到一个非常高的上限，我们当时设到 20GB/s时，它都还是呈现出一直向上的趋势。这说明 Alluxio 整个并发的、分布式的性能非常好。
Alluxio 落地：调参适配环境
做完功能验证和性能测试之后，就真正的要实际部署 Alluxio 集群，部署好之后，需要一个参数调参适配的过程。因为测试时，只采用了一些典型的任务，真的上 Alluxio 环境之后，会发现随着任务增多，会有一个参数调参适配的过程。需要把 Alluxio 上面相应的参数跟实际运行环境做匹配，然后才能够把它性能给发挥好。所以会有边运行、边运维、边调参的过程。
我们经历了一些典型的调参过程，比如说：
1
ETCD 的节点。一开始是 1 后来增加至3节点，这样就保证即便某个ETCD节点挂了，整个集群不会受到影响。
2
与 S3 相关的。比如说 Alluxio 在实现的时候，他会让 S3 生成一个访问比较长的路径，会在中间的路径节点，默认写一些空白，以至于让它具有更好的性能。但是这种情况下，我们训练任务下面的 S3 ，是做了权限管控的，不允许他们去写这种数据。面对这种冲突，也需要调参。
3
FUSE 节点本身能忍受的并发强度的能力。包括它要使用的 Direct Memory 的大小，实际上也和整个业务实际运行并发的强度多少有很大关系。和能够一次性访问的数据量其实是有很大关系的，这也有一个调参的过程，不一而足。可能会在不同环境下遇到不同的问题。这也是选择 Alluxio 企业版的原因。因为在企业版的过程中 Alluxio 会有非常强的支持， 7* 24h 都可以做到遇到问题去调整、去配合。有了相互配合的周期，才能够让整个集群比较顺畅地运行起来。
Alluxio 落地：运维
1
运维的历史记录文档：比如说哪一天出现了什么问题，这些问题我找到它根因是什么，它的解决方案是什么？具体操作是什么？
2
操作文档：比如我们在 K8S 上面去运维，它的重启是哪几步、操作是什么、出现问题怎样去看日志、怎样去排查、去看FUSE对应的数据是哪个任务、哪个 worker 上面去运行、监控等等。都是常用的一些操作。
3
配置的变更：因为 Alluxio 具体在调参的过程中。不同的时候，可能遇到的配置文件、yaml 文件是不一样的，可能还要做一些备份。可以用 Git 管理，也可以简单地采用文档管理。通过这种方式可以追溯到当前配置和历史配置版本。
在此基础上，我们还会有一些相关的配套建设，就是为了更好地使用 Alluxio。研发同学使用下来认为 Alluxio 蛮好用的。但多任务的时候，就暴露出来一些配套建设的需求。比如我们要去做图片的 resize，把图片从一开始高清4K ，降到 720P ，以便支持更多的任务缓存。
训练数据集做跨集群同步，以便更好的做数据预加载。这些都是围绕着 Alluxio 要做的系统化建设。
Alluxio 落地：共同进步
1
稳定性：一定要在运行过程中稳定，不能因为 Alluxio ，一些东西 crash 了，让整个系统训练受阻。这里面可能有一些运维的小技巧，比如说尽可能不要让 FUSE 重启。刚才也提到了 FUSE 重启就意味着它的访问路径，读数据文件的时候，会失败、出现 IO 的 error。
2
确定性：比如 Alluxio 之前建议数据不需要做预加载，即不需要在预训练之前读一遍，只需要在第一个 epoch 过程中读一遍。但是因为研发有发版周期，他要明确的知道预加载要多长的时间，如果通过第一个 epoch 去读，很难预估整个训练时间。这里面其实也会引申出来，怎样通过一个 file list 做缓存这件事情，这个也给 Alluxio 提了一些需求。
3
可控性：虽然 Alluxio 是可以提供自动化的基于 LRU 的缓存驱逐清理缓存。但是实际上研发还是希望，一些已经缓存过的数据，能够主动做一些清理。那么能不能也通过提供 file list，让 Alluxio 把这块数据给 free 掉。这也是我们除了间接的用 Alluxio，还要直接的、非常可控的用 Alluxio 的需求。
1
配置中心：Alluxio 自己可以提供一个配置中心，把配置的历史给保存下来。增加一个功能以便实现配置项更改时，提前预算到这个改动到底影响的是什么；
2
Trace跟踪一个命令的运行过程：另外一个比较现实一点的需求，比如现在发现一个问题：访问底层的一个 UFS 文件时延时比较高，到底是什么原因？我们看 FUSE 的日志可能看不出原因，得需要再去看 location 对应的worker日志。这其实是一个非常耗时、麻烦的过程，而且往往排查不了问题，还需要Alluxio 的线上客服支持。Alluxio 能不能加一个 Trace 命令，在要做访问的时候，把 FUSE 耗时、worker 耗时、以及从 UFS 里面读它的耗时，一个全链路的耗时问题给 Trace 出来。这样其实对整个运维过程或者排查过程会有比较大的帮助。
3
智能监控：有时候监控的东西是我们已经知道的东西。比如说 Direct Memory 有问题了，我们去配一个监控项。但是如果下一次一个新问题在我的日志里面出来了，它可能是一个隐藏的问题，在人不知道的情况下悄悄地发生。这种情况我们希望可以自动的监控出来。
我们通过工单反馈的方式，给 Alluxio 提了各种各样的建议。希望 Alluxio 能够在产品迭代过程中，提供更强大的功能。把整个研发、运维 care的事项，做到更好的满足。
小结
√
产品采购成本低；
√
NAS可能会有20%-30%的冗余存储，Alluxio 都可以解决掉。
往期推荐
多模态预训练模型在 OPPO 端云场景的落地实践
腾讯大数据多引擎统一元数据和权限管理的探索
指标体系与标签体系的区别与联系
第三代指标平台如何摆脱 ETL 宽表开发 做“轻”数仓
优刻得：使用 USDP 实践近实时数据湖仓
蚂蚁多模态团队在视频多模态方向的技术探索
全面上线｜Alluxio AI助力知乎千卡模型训练
白鲸开源CEO郭炜：数据集成的未来在哪里？
百度推荐资源冷启动实践
点个在看你最好看
SPRING HAS ARRIVED