TikTok背后的AI能如何运作,一文带你了解TikTok背后的AI运作流程
TikTok 的推荐系统是如何架构的?
TikTok 推荐系统的架构包括三个组件:大数据框架、机器学习和微服务架构。大数据框架是系统的起点,它能提供实时数据流处理、数据计算和数据存储。机器学习则是推荐系统的大脑,通过一系列机器学习和深度学习算法与技术来构建模型并生成适用的内容。微服务架构方面,TikTok 已经运用了云原生基础设施,推荐组件如用户分析、预测、冷启动、召回和用户反馈引擎等被用作 API,这些服务托管在 Amazon AWS 和 Microsoft Azure 等云中。
TikTok 背后的 AI 具体运用了哪些算法和技术?
在算法和技术方面,TikTok 使用了神经网络深度学习框架 TensorFlow 等用于执行计算机视觉和本地语言处理 (NLP)。计算机视觉用于破译图像,NLP 包括分类、标签和评估等。还运用了经典的机器学习算法,如逻辑回归 (LR)、卷积神经网络 (CNN)、递归神经网络 (RNN)和梯度提升决策树(GBDT),以及常见的推荐方法,如基于内容的过滤(CBF)、协同过滤(CF)和更高级的矩阵分解(MF)。同时,TikTok 还有一些独特的秘密武器,如算法实验平台、广泛的分类和标签以及用户反馈引擎等。
TikTok 如何解决推荐中的冷启动问题?
为了解决推荐中的冷启动问题,TikTok 使用了召回策略,即从数以千万计的视频中挑选出成千上万的候选人,这些视频是已经被证明受欢迎和高质量的。同时,部分人工智能工作已移至客户端,以实现超快速响应,在客户端使用机器学习框架,如 TensorFlow Lite 或 ByteNN 。
TikTok 的微服务架构是怎样的?
在微服务架构方面,TikTok 采用了基于 Kubernetes 的容器化技术,Kubernetes 被称为容器编排器,是自动化应用程序生命周期的工具集。Kubeflow 致力于在 Kubernetes 上部署机器学习工作流。还有 Service mesh 这一处理服务到服务通信的工具,它控制着应用程序不同部分相互共享数据的方式。由于高并发性的要求,服务是使用 Go 语言和 gRPC 构建的,在 TikTok 中,Go 因其良好的内置网络和并发支持成为服务开发中的主导语言,gRPC 是一个远程过程控制框架,用于有效地构建和连接服务。此外,TikTok 还有一系列内部工具和系统来提升性能,如 ByteMesh、KiteX、Sonic 等。