阿里云 EMR Serverless StarRocks Skills 正式上线

2026年6月，阿里云EMR Serverless StarRocks Skills正式发布。这套专为Agent打造的专业技能插件，使大语言模型能够直接连接StarRocks集群，完成SQL开发、慢查询诊断、建表设计、数据导入、实例运维及弹性扩缩容等端到端操作。该技能在阿里云Skills门户上线，完美兼容Qoder、ClaudeCode、OpenClaw、DataWorks DataAgent以及EMR AI助手。

从首场阿里云大数据智能体“虾”聊日中EMR发布Spark Skill并实现智驾场景自动化数据标注，到第二场“虾”聊日EMR StarRocks Skill的发布，这一系列进展标志着阿里云开源大数据平台E-MapReduce从业界领先的大数据基座迈入Agentic时代——使数据基础设施具备自主感知与执行能力，重新定义云原生数据开发的智能化边界。

一、Agent时代对大数据平台的新要求

过去十年间，大数据平台的核心目标是将数据“存下来、算出来、用起来”，其面向对象始终是人——分析师、数据工程师与运维人员。然而在AI时代，平台面向的对象正转变为智能体（Agent）：它们自动读取数据、调用算力、生成结果，甚至驱动业务决策。

阿里云EMR是基于开源框架的一站式大数据处理服务，可理解为运行大数据任务的“操作系统”；Lakehouse的核心则是一份数据、多引擎协同——在阿里云上的最佳实践为EMR Serverless Spark处理数据、EMR Serverless StarRocks进行极速分析、DLF统一元数据与权限管理，从而实现湖仓一体架构。

Agent时代对大数据平台提出了三项全新要求：

1. 更低门槛的调用方式：Agent无法像人类一样登录控制台点击配置，需从“作业/SQL配置”转向“API/能力调用”。

2. 更统一的能力抽象：数据处理、查询分析、系统运维需要统一对外抽象为“能力调用”，Agent无需理解底层系统差异。

3. 更实时的响应能力：支持Agent的即时决策与交互，代码不符合预期时可立即调试，运维问题能快速闭环。

基于这三点，EMR不再仅是一个“集群产品”，而是作为统一接口层对外提供数据处理、实时分析、系统运维三类核心能力，并将底层引擎与企业级运维能力“Skill化”封装。

二、什么是EMR StarRocks Skills？

StarRocks Skills是阿里云EMR团队为Agent打造的专业技能插件。Skill一方面是对API的封装，另一方面更重要的是指导Agent如何更智能地调用这些API——将内置的StarRocks最佳实践、监控指标语义及业务沉淀提供给大模型，使其用更精确的上下文获得更优结果。

两者配合，等于将工作流从“我该怎么做”推进到“已经帮你做完了”。

更进一步，EMR的三大子产品——EMR on ECS集群管理、EMR Serverless Spark、EMR Serverless StarRocks——均已通过Skills接入各类Agent，覆盖集群管理、计算作业、分析数据的全场景，目前支持接入EMR AI助手、DataWorks DataAgent、Qoder、ClaudeCode等多种客户端。

三、裸用大模型vs.Agent Skills：到底差在哪？

很多人会问：我直接咨询通用大模型不行吗？下面这张表说明了根本差异——裸模型是“纸上谈兵的军师”，Agent Skills是“能亲自上阵的全栈工程师”。

四、能力地图：开发·诊断·运维，六大场景全覆盖

StarRocks Skills按用户意图拆分，满足DBA/SRE、数据工程师/分析师、应用开发者等多角色需求，覆盖领域知识、开发管理、性能分析、问题诊断、运维操作、数据分析六大类场景。Skill采用意图识别加渐进披露的设计，使Agent在不同诉求下精准命中最合适的能力。

核心优势包括：Agent原生集成、一键添加开箱即用；核心场景全覆盖；基于阿里云RAM权限体系的细粒度访问控制；Serverless免运维弹性；以及完善容错重试带来的生产级稳定性。

五、实战场景：两个Skills联合作战

以下是几个真实业务场景，展示assistant与manage如何在同一次对话中配合完成端到端操作。

场景一：凌晨告警自动诊断与恢复

Agent 思考链：1. [assistant] SQL: "SELECT query_id, db, digest, latency FROM information_schema.slow_query WHERE start_time > DATE_SUB(NOW(), INTERVAL 10 MINUTE) ORDER BY latency DESC LIMIT 5" → 找到 Top-5 慢 SQL，最慢 query_id = 'abc-123'2. [assistant] GET PROFILE abc-123 → Profile 分析：EXCHANGE 节点 shuffle 2.8GB， BE#3 spill_to_disk = true，内存不足导致落盘3. [manage] aliyun emr-serverless-starrocks GetInstance --InstanceId sr-prod-01 → 确认实例状态：CPU 95%，内存 92%，规格 16CU4. [manage] aliyun emr-serverless-starrocks ModifyInstance --InstanceId sr-prod-01 --ComputeResource 32 → 执行扩容 16CU → 32CU，等待实例 Running5. [assistant] SQL: "SELECT /*+ SET_VAR(query_timeout=30) */ ..." → 重跑慢 SQL，耗时 380ms，P99 恢复正常

传统方式需登录控制台查看监控、连接集群查询系统表、返回控制台操作扩容、再回终端验证，需来回切换4个界面，至少花费15分钟。而StarRocks Skills仅需5分钟即可全自动完成。

场景二：从零搭建实时数仓

Agent 思考链：1. [manage] aliyun emr-serverless-starrocks CreateInstance --InstanceName "promo-realtime" --ComputeResource 32 --ZoneId cn-hangzhou-h → 创建 32CU 实例，等待就绪，返回连接信息2. [assistant] SQL: "CREATE TABLE order_realtime ( order_id BIGINT, user_id BIGINT, amount DECIMAL(10,2), region VARCHAR(32), order_time DATETIME ) ENGINE=OLAP DUPLICATE KEY(order_id) PARTITION BY date_trunc('day', order_time) DISTRIBUTED BY HASH(order_id) BUCKETS 8 PROPERTIES('replication_num'='1')" → 根据查询模式设计分区分桶策略3. [assistant] SQL: "CREATE ROUTINE LOAD promo_load ON order_realtime COLUMNS(order_id, user_id, amount, region, order_time) FROM KAFKA ( 'kafka_broker_list' = 'broker:9092', 'kafka_topic' = 'order_events', 'property.kafka_default_offsets' = 'OFFSET_END' )" → 配置 Kafka 实时消费4. [assistant] SQL: "SELECT region, SUM(amount), COUNT(*) FROM order_realtime WHERE order_time > '2026-05-20' GROUP BY region" → 验证看板查询 < 500ms ✓5. [manage] aliyun emr-serverless-starrocks ModifyInstanceConfig --InstanceId sr-xxx --Key parallel_fragment_exec_instance_num --Value 8 → 根据 Profile 调参，进一步优化并发性能

场景三：湖仓向量检索端到端

Agent 思考链：1. [manage] aliyun emr-serverless-starrocks GetInstance --InstanceId sr-prod-01 → 确认实例版本 3.3+，支持向量检索2. [assistant] SQL: "CREATE EXTERNAL CATALOG paimon_catalog PROPERTIES ( 'type' = 'paimon', 'paimon.catalog-type' = 'dlf', 'dlf.catalog.id' = 'my_dlf_catalog' )" → 创建 DLF Paimon Catalog3. [assistant] SQL: "DESC paimon_catalog.image_db.image_vectors" → 确认表结构：vector ARRAY(1024), tags JSON, image_url STRING4. [assistant] SQL: "SELECT image_url, tags, cosine_similarity(vector, [0.12, 0.34, ...]) AS score FROM paimon_catalog.image_db.image_vectors WHERE JSON_QUERY(tags, '$.weather') = '"cloudy"' AND cosine_similarity(vector, [0.12, 0.34, ...]) > 0.7 ORDER BY score DESC LIMIT 20" → 向量相似度 + JSON 标签混合检索5. [assistant] GET PROFILE {query_id} → Profile 显示向量计算走了暴力扫描，建议开启向量索引6. [manage] aliyun emr-serverless-starrocks ModifyInstanceConfig --InstanceId sr-prod-01 --Key enable_vector_index_search --Value true → 开启向量索引加速，查询从 3.2s → 180ms

场景四：MySQL→StarRocks报表迁移

Agent 思考链：1. [manage] aliyun emr-serverless-starrocks CreateInstance --InstanceName "report-migration" --ComputeResource 16 → 根据 20 张报表数据量推荐 16CU 规格并创建2. [assistant] SQL: "CREATE EXTERNAL CATALOG mysql_source PROPERTIES ( 'type' = 'jdbc', 'jdbc_uri' = 'jdbc:mysql://rds-xxx:3306/report_db', 'user' = 'readonly', 'password' = '***' )" → 创建 JDBC Catalog 连接 MySQL3. [assistant] SQL: "CREATE TABLE orders_report (...) PARTITION BY date_trunc('day', dt) DISTRIBUTED BY HASH(order_id) BUCKETS 4" → 逐表转换 DDL：自动优化分区分桶 + 列存4. [assistant] SQL: "INSERT INTO orders_report SELECT * FROM mysql_source.report_db.orders_report" → 全量数据迁移（20 张表并行执行）5. [assistant] SQL: "CREATE ROUTINE LOAD cdc_sync ON orders_report COLUMNS FROM PATH AS (dt) FROM KAFKA ( 'kafka_topic' = 'debezium.report_db.orders_report' )" → 配置 CDC 增量同步6. [assistant] SQL: "SELECT ... FROM orders_report WHERE ..." vs [assistant] SQL: "SELECT ... FROM mysql_source.report_db.orders_report WHERE ..." → 结果一致性校验 ✓，平均查询提速 23x

六、DataAgent×EMR Skills对话式智能分析

StarRocks AI Function与StarRocks Skills共同构成对话式智能分析的完整流程：数据不出库，AI分析在SQL内完成；运维操作通过对话触发，无需切换界面。

在DataWorks DataAgent上的真实演示中，用户只需输入“帮我创建一个618大促看板，并通过AI Function进行大促分析”，Agent便会自动完成意图理解与任务编排：

1. 意图识别：理解用户自然语言需求；

2. SQL生成：调用StarRocks Skills自动匹配或创建合适实例，生成分区表、物化视图与AI Function SQL；

3. 引擎执行：StarRocks执行AI加向量加全文检索，AI Function内置调用大模型（Qwen/百炼）完成情感判断、分类、摘要等智能分析；

4. 结果返回：结构化结果回传Agent，并自动生成HTML销售看板进行可视化展示。

整个流程约7至8分钟即可完成从建表、分区设计、OLAP分析、实时写入到差评实时监控大屏的搭建——借助Skills的业务沉淀，SQL生成准确度大幅提升，基本无需人工介入修改。

七、快速开始

一键安装

#安装开发运维助手assistant
npxskillsaddaliyun/alibabacloud-aiops-skills
--skillalibabacloud-emr-starrocks-assistant--agentqoder

#安装实例管理manage
npxskillsaddaliyun/alibabacloud-aiops-skills
--skillalibabacloud-emr-starrocks-manage--agentqoder

也可在阿里云Skills门户网站直接选择你的Agent客户端进行安装，或使用已预装Skills的DataWorks DataAgent、EMR AI助手等生态产品。

EMR AI助手现已全面支持Skill，新用户免费赠送100万Tokens：

查看演示视频 >>

前置条件

最佳实践

1. 描述场景而非指令： 不要说“帮我建个表”，而说“我有一个电商订单场景，每天2亿行，主要按门店加日期聚合查询”。

2. 给足上下文： 附上表名、SQL文本、报错信息、期望的性能指标。

3. 善用多轮对话： SQL调优是迭代过程——Profile结合优化再查看Profile，最后微调。

4. 两个Skills联动使用： 遇到“诊断出问题需改配置或扩容”时，在对话中直接完成，无需切换窗口。

5. 先Manage后Assistant： 新项目先用manage创建集群，再用assistant开始开发。

八、能力展望：从引擎AI化到平台AI Native

EMR AI Native的演进路线沿着“引擎AI化、运维AI化、平台AI Native”推进，使大数据基础设施具备自主感知、推理与行动的能力。近期与中期规划包括：

1. EMR AI助手：全面对接钉钉、飞书、企微等IM应用，支持自定义巡检范围与告警规则；后续支持成本与资源优化（智能弹性推荐、闲置资源识别加降配建议）。

2. Serverless StarRocks：全文检索GA（BM25排序、倒排索引加智能分词）；向量化检索GA（对接DLF GlobalIndex，支持HNSW、IVFPQ、DiskANN等主流算法的ANN近似搜索）；全文加标量加向量混合检索引擎内部统一评分与排序。

3. Serverless Spark：多模态处理GA（图片、音频、视频统一ETL，内置预训练模型UDF）；多模态算子市场GA（社区或自研算子一键复用，拖拽式Pipeline编排）。

九、常见问题（FAQ）

Q：EMR StarRocks Skills是什么？

A： 它是阿里云EMR团队为AI编程助手打造的两个技能插件——starrocks-assistant（SQL开发与调优、诊断）与starrocks-manage（实例管理与运维）。它让AI助手能够直接连接StarRocks集群执行操作，而不只是生成文本建议。

Q：它和直接问大模型有什么区别？

A： 裸用大模型只能生成文本，对你的集群一无所知；Agent Skills能实时读取集群状态、执行SQL、调用API完成扩缩容与配置变更，并基于Profile、系统表、监控指标给出经过实际验证的诊断结论。

Q：支持哪些Agent客户端？

A： 已支持阿里云Skills门户、Qoder、ClaudeCode等，以及DataWorks DataAgent、EMR AI助手等已预装Skills的生态产品。

Q：StarRocks可以替代Trino/Presto/Impala/Doris吗？

A： 可以。StarRocks全面向量化加CBO，兼容MySQL协议可平滑迁移，直查数据湖性能相比Trino/Presto有数倍提升，是这些引擎的高性能替代与升级选择。

Q：如何安全使用？会不会越权？

A： Skills基于阿里云RAM权限体系做细粒度访问控制，操作可审计；manage需AK/SK或SSO登录授权，避免越权行为。