| 组件 | 示例工程 | 示例工程描述 | Git仓库访问地址 | 备注(最常用的用户操作场景) |
|---|---|---|---|---|
| HDFS | hdfs-examples |
使用HDFS Java API实现读取、写入、删除、追加操作 |
https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/hdfs-examples |
包含以下示例: 1、包含 HDFS Java API文件读取、写入、删除、追加等接口调用 |
| Spark | spark-examples | 调用Spark API编写常用数据处理任务 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/spark-examples | 包含以下示例: 1、Spark-Core,常用算子操作 2、SparkSQL,包含与 Hive 集成的 SQL 操作,连接方式包括自定义代码, 命令行, Thrift协议三种 3、Spark-Streaming&Structured Streaming(低) 4、Spark ML(低) |
| Hive | hive-examples | 使用JDBC连接Hive,进行SQL操作 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/hive-examples |
包含以下示例: 1、通过JDBC连接执行SQL操作,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等,优先 Java 和 Scala,Python 可选 2、Hive Beeline 命令行连接,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 |
| Trino | trino-examples | 使用JDBC连接Trino,进行SQL操作 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/trino-examples | 包含以下示例: 1、JDBC 代码连接,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等,优先 Java 和 Scala,Python 可选 2、命令行连接方式,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 |
| Impala | impala-examples | 使用JDBC连接Impala,进行SQL操作 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/impala-examples | 包含以下示例: 1、JDBC 代码连接,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 2、命令行连接,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 |
| Flink | flink-examples | 调用Flink API编写常用实时数据处理任务 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/flink-examples | 包含以下示例: 1、Flink-Core,常用算子操作 2、FlinkSQL,包含与 Hive 集成的 SQL 操作,连接方式包括自定义代码, 命令行, Thrift协议三种 |
| Yarn | yarn-examples | 使用Yarn API自定义编写运行在Yarn上的应用程序 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/yarn-examples | 包含以下示例: 1、使用Yarn 提供的Java API进行大数据分布式程序编写 |
| HBase | hbase-examples | HBase创建集群连接、创建表、读写、删除表的基本功能操作示例 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/hbase-examples | 包含以下示例: 1、HBase Java API操作,包括创建 namespace、表、写入数据、scan 数据,读取数据等常用操作 |
| Phoenix | phoenix-examples | 执行Phoenix SQL的基本功能 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/phoenix-examples | 包含以下示例: 1、JDBC 代码连接,包括连接、SQL执行 2、命令行连接方式,包括连接、SQL执行 |
| Kafka | kafka-examples | 使用Kafka API进行Kafka 消息的读取与写入 | https://g-necm8077.coding.net/p/tencentcloud-tbds-examples/d/tbds-examples/git/tree/master/src/kafka-examples | 包含以下示例: 1、Kafka 发布和订阅功能示例,开发语言 Java 和 Scala,包括消息写入和消息消费 |
| Kyuubi | kyuubi-examples | 使用Kyuubi API通过REST或者JDBC连接提交相关应用程序 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/kyuubi-examples | 包含以下示例: 1、JDBC 代码连接,包含 Spark 和 Trino集成的SQL 操作,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 2、命令行连接,包含 Spark 和 Trino集成的SQL 操作,包括连接、SQL执行(包括DDL、DML 常见语法)、日志查看、作业监控等 |
| Iceberg | iceberg-examples | 使用Iceberg API进行Spark以及Flink的集成开发 | https://g-necm8077.coding.net/p/tencentcloud-tbds-examples/d/tbds-examples/git/tree/master/src/iceberg-examples | 包含以下示例: 1、Spark 集成开发SQL和 Java API示例,包含 DDL 和 DML 2、Flink 集成开发SQL和Java API示例,包含 DDL 和 DML |
| Elasticsearch | elasticsearch- example |
使用REST API操作es的数据导入与读取 |
https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/elasticsearch-examples |
包含以下示例: 1、通过REST API访问ES 创建索引, 查询索引, 删除索引 |
| StarRocks | StarRocks开发 | StarRocks常见的使用方式与配置 | StarRocks开发 | 包含以下示例: 1、对StarRocks进行相关的配置 2、StarRocks相关最佳实践 |
| MapReduce | mapreduce-examples | 使用Hadoop API编写常见MapReduce 程序开发 | https://g-necm8077.coding.net/public/tencentcloud-tbds-examples/tbds-examples/git/files/master/src/mapreduce-examples | 包含以下示例: 1、MapReduce 常见Java API编写指导 2、MapReduce 常见程序参数解析 |
| Hudi | Hudi开发 | Hudi常见的使用方式与最佳实践 | Hudi开发 | 包含以下示例: 1、对Hudi进行关键功能与常用参数解析 2、Hudi最佳实践与开发规范 |