aws创建kafka(msk)

aws上kafka对应的控制台是:msk。

创建亚马逊 MSK 集群

在创建 Amazon MSK 集群之前,您需要拥有 VPC 并在该 VPC 内设置子网。在美国西部(加利福尼亚北部)区域中,您需要两个不同可用区中的两个子网。在提供 Amazon MSK 的所有其他区域中,您可以指定两个或三个子网。您的子网必须位于不同的可用区中。创建集群时,Amazon MSK 在您指定的子网之间平均分配代理节点。有关如何为 MSK 集群设置 VPC 和子网的示例,请参阅第 1 步:为 MSK 集群创建 VPC第 2 步:启用高可用性和容错功能.

代理类型

创建 Amazon MSK 集群时,您可以指定您希望拥有的代理类型。亚马逊 MSK 支持以下经纪商类型:

  • kafka.t3.mall

  • kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka.m5.2xlarge、kafka

M5 代理具有比 T3 代理更高的基准吞吐量性能,建议用于生产工作负载。M5 代理还可具有比 T3 代理更多的每代理分区。如果您正在运行较大的生产级工作负载或需要更多的分区,请使用 M5 代理。要了解有关 M5 实例类型的更多信息,请参阅 Amazon EC2 M5 实例
T3 代理可以使用 CPU 积分来临时提高性能。如果您正在测试中小型流式处理工作负载,或者您的低吞吐量流式处理工作负载会临时出现吞吐量高峰,则可以使用 T3 代理进行低成本开发。建议您运行概念验证测试来确定 T3 代理是否足以应对生产或关键工作负载。要了解有关 T3 实例类型的更多信息,请参阅 Amazon EC2 T3 实例
有关如何选择代理类型的更多信息,请参阅将集群设置为正确大小.

使用创建集群Amazon Web Services Management Console

  1. 从打开 Amazon MSK 控制台https://console.amazonaws.cn/msk/ .

  2. 选择创建集群

  3. 指定集群的名称。

  4. 在 VPC 列表中,选择要用于集群的 VPC。您还可以指定您希望 Amazon MSK 创建集群时使用的 Apache Kafka 版本。

  5. 如果使用以下区域之一,请指定两个子网:南美洲(圣保罗)、加拿大(中部)和美国西部(加利福尼亚北部)。在提供 Amazon MSK 的其他区域中,您可以指定两个或三个子网。指定的子网必须位于不同的可用区中。

  6. 选择所需配置类型。有关 MSK 配置的信息,请参阅 Amazon MSK 配置

  7. 指定您希望 MSK 在每个可用区中创建的代理类型和数量。每个可用区最少一个代理,最多 30 个代理。

  8. (可选)为您的集群分配标签。标签是可选的。有关更多信息,请参阅为亚马逊 MSK 集群添加标记

  9. 您可以调整每个代理的存储量。创建集群后,您可以增加每个代理的存储量,但不能减少它。

  10. 选择对传输中的数据进行加密所需的设置。默认情况下,MSK 会在集群中的代理之间传输数据时对数据进行加密。如果您希望在代理之间传输数据时不要对数据进行加密,请清除带有 Enable encryption within the cluster (在集群内启用加密) 标签的复选框。

  11. 选择用于在客户端和代理之间传输数据时加密数据的三种设置之一。有关更多信息,请参阅传输中加密

  12. 选择要用于静态加密数据的 CMK 类型。有关更多信息,请参阅静态加密

  13. 如果要验证客户端身份,请通过选择 Enable TLS client authentication (启用 TLS 客户端身份验证) 旁边的方框来选择该选项。有关身份验证的更多信息,请参阅TLS 身份验证

  14. 选择所需的监控级别。此选择决定您获得的指标集。有关更多信息,请参阅监控 Amazon MSK 集群

  15. (可选)选择高级设置,然后选择。自定义设置. 您可以指定要向其授予对集群的访问权限的一个或多个安全组(例如,客户端计算机的安全组)。如果您指定与您共享的安全组,则必须确保您拥有对它们的权限。具体来说,您需要 ec2:DescribeSecurityGroups 权限。有关示例,请参阅 。Amazon EC2:允许以编程方式和在控制台中管理关联至特定 VPC 的 EC2 安全组.

  16. 选择创建集群

使用创建集群Amazon CLI

  1. 复制以下 JSON 并将其保存到文件中。将文件命名为 brokernodegroupinfo.json 。将 JSON 中的子网 ID 替换为与子网对应的值。这些子网必须位于不同的可用区中。将 "Security-Group-ID" 替换为客户端 VPC 的一个或多个安全组的 ID。与这些安全组关联的客户端可以访问集群。如果您指定与您共享的安全组,则必须确保您拥有对它们的权限。具体来说,您需要 ec2:DescribeSecurityGroups 权限。有关示例,请参阅 。Amazon EC2:允许以编程方式和在控制台中管理关联至特定 VPC 的 EC2 安全组. 最后,将更新的 JSON 文件保存在已安装 Amazon CLI 的计算机上。

    {
      "InstanceType": "kafka.m5.large",
      "ClientSubnets": [
        "Subnet-1-ID",
        "Subnet-2-ID"
      ],
      "SecurityGroups": [
        "Security-Group-ID"
      ]
    }
    

    重要
    如果使用以下区域之一,请恰好指定两个子网:南美洲(圣保罗)、加拿大(中部)和美国西部(加利福尼亚北部)。对于提供 Amazon MSK 的其它区域,您可以指定两个或三个子网。指定的子网必须位于不同的可用区中。在创建集群时,Amazon MSK 在您指定的子网之间平均分配代理节点。

  2. 在保存 brokernodegroupinfo.json 文件的目录中运行以下 Amazon CLI 命令,并将 "Your-Cluster-Name" 替换为您选择的名称。对于 "Monitoring-Level" ,您可以指定以下三个值之一: DEFAULTPER_BROKERPER_TOPIC_PER_BROKER 。有关这三个不同监控级别的信息,请参阅监控 Amazon MSK 集群enhanced-monitoring 参数是可选的。如果未在 create-cluster 命令中指定该参数,监控级别即为 DEFAULT
    aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info fileb://brokernodegroupinfo.json --kafka-version "2.2.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level" 该命令的输出如以下 JSON 所示:

    {
        "ClusterArn": "...",
        "ClusterName": "AWSKafkaTutorialCluster",
        "State": "CREATING"
    }
    

    注意
    create-cluster 命令可能会返回错误,指示一个或多个子网所属的可用区不受支持。发生此种情况时,该错误会指示不受支持的可用区。请创建不使用不受支持的可用区的子网,然后重试 create-cluster命令。

  3. 保存 ClusterArn 键的值,因为您需要该键才能对集群执行其他操作。

使用创建具有自定义 MSK 配置的集群Amazon CLI

有关自定义 MSK 配置以及如何创建这些配置的信息,请参阅 Amazon MSK 配置

  1. 将以下 JSON 保存到文件中,并将 configuration-arn 替换为创建集群要使用的配置的 ARN。

    {
        "Arn": configuration-arn,
        "Revision": 1
    }
    
  2. 运行 create-cluster 命令并使用 configuration-info 选项指向您在上一步中保存的 JSON 文件。以下是示例。
    aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info fileb://brokernodegroupinfo.json --kafka-version "1.1.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json 以下是运行此命令后的成功响应示例。

    {
        "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2",
        "ClusterName": "CustomConfigExampleCluster",
        "State": "CREATING"
    
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,406评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,732评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,711评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,380评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,432评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,301评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,145评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,008评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,443评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,649评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,795评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,501评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,119评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,731评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,865评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,899评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,724评论 2 354

推荐阅读更多精彩内容