-
0 votesanswersviews
自动创建Kinesis Firehose交付流 - 使用（SAM）无服务器应用程序模型的Splunk目标
我已成功设置Kinesis Stream，使用Splunk Add-on for Amazon Kinesis（https://splunkbase.splunk.com/app/3719/）将数据发送到Splunk . 我按照官方文档中描述的步骤进行操作：https://docs.aws.amazon.com/firehose/latest/dev/create-destination.html... -
5 votesanswersviews
流式传输JSON数据，在S3中保存为Parquet
我有一个生成JSON的Kinesis流，并希望使用Storm以Parquet格式写入S3 . 这种方法需要在流处理期间从JSON - > Avro - > Parquet进行转换 . 此外，我需要处理这种方法中的模式演变，并不断更新avro架构和avsc生成的java类 . 另一个选择是直接在S3中编写JSON并使用Spark将存储的文件转换为镶木地板 . 在这种情况下，Spark... -
1 votesanswersviews
从kinesis到dynamodb的火花结构流
我在kinesis流源上运行了一个Spark结构化的流式查询 . 它从kinesis读取（没有时间触发），计算聚合，并使用自定义dynamodb接收器推送结果（outputMode“update”） . spark版本：2.1.1和kinesis源码库：https://github.com/maropu/spark-kinesis-sql-asl 我希望按秒处理1 500个事件（我使用Kinesi... -
0 votesanswersviews
API网关CORS HTTP 415
好的，我已经遍布这些互联网寻找对我的问题的一些见解;我可能已经通过了超过80个堆栈溢出线程RE api网关等等，但它们似乎都没有帮助或说得足够接近我的问题 . 我是API Gateway和cors的新手，但是让我们看看我是否可以清楚地表达我所看到的问题： 为Kinesis firehose设置API网关代理，为红移数据库提供保护 . 代理，firehose和redshift网关在隔离调用时启动并正... -
-1 votesanswersviews
在将数据存储在Redshift中之前，我应该使用哪些AWS技术来实时进行轻量级处理？
我想创建一些HTTP点，移动客户端，服务器和物联网设备将发布数据 . 我可能需要对事件进行预处理并对其进行操作 . 最终，我想使用Domo，Cloud Business Intelligence |访问所有原始数据并进行查询Chartio或Tableau . 我需要了解以下架构的不同之处和优势： AWS API管理Lambda Redshift：我可以创建一个HTTP endpoints 和一... -
1 votesanswersviews
AWS：Iot to Kinesis
物联网规则引擎提供直接连接将物联网事件推送到Kinesis蒸汽上 - 但我找不到有关将物联网事件转换为Kinesis记录的任何讨论...... 我的活动如下：{“time_stamp”：“2012：07：15：18：24：09：890：00”，“customer_id”：“000001”，“device_id”：“000001”} 虽然这里的AWS文档显示了样本Kinesis记录：https://... -
4 votesanswersviews
Lambda来自API网关VS kinesis Streams
Background 我正在研究AWS kinesis，API网关 . 我明白，每当请求命中API网关时，我都可以将数据转发到流中，或者我可以选择触发lambda（将进行一些处理） . Thoughts and Query 所以，我的想法是，如果我可以直接从API网关触发一个lambda（当请求到达时，它是实时的），有一个kinesis流（用于实时数据处理）的优势是什么？ 我可以删除流并直接从AP... -
0 votesanswersviews
是否可以在连接到API网关的Lambda上使用AWS KPL
我正在尝试在AWS服务之上构建数据收集管道 . 下面给出了总体架构; 总之，系统应该从API网关（1）获取事件（每个事件一个请求），并且数据应写入Kinesis（2） . 我期待每秒约100k事件 . 我的问题与Lambda函数的KPL使用有关 . 在第2步，我计划用KPL编写一个Lambda方法，以高吞吐量在Kinesis上编写事件 . 但我不确定它是否可能，因为API网关分别为每个事件调用la... -
-1 votesanswersviews
我应该使用哪种AWS服务来处理大型文本文件？
我有一个用例，我需要读取一个非常大的文本文件，可以包含多达100万条记录 . 对于每条记录，我必须执行一些验证，然后将其转换为不同的JSON，然后将其推送到SNS主题 . 我不需要按顺序读取它们，因此我可以使用并行性 . 一种选择是将文件放入S3存储桶，然后使用lambda处理文件，该文件将记录扇出（异步）到多个lambda函数，这些函数负责转换（＆验证），然后将其推送到SNS . 另一种选择是使... -
0 votesanswersviews
AWS Lambda触发器
我有一个用例，其中有一个Kinesis Stream（在不同的AWS账户中管理），这个流是否可以配置可以在我们的账户中触发lambda的事件（交叉账户）？我知道在Kinesis事件的情况下lambda轮询Kinesis流，所以这将与账户A中的S3事件（基于推送）如何触发账户B中的lambda类似吗？此外，如果两个资源都在同一地区，那么这个资源是否有效？ -
0 votesanswersviews
AWS IOT发布到Kinesis无服务器框架
我想在无服务器框架中复制IOT - > Kinesis Stream操作，这样我就不必为不同帐户的不同阶段手动创建这些操作 . 这可能吗？ https://docs.aws.amazon.com/iot/latest/developerguide/kinesis-rule.html -
5 votesanswersviews
使用AWS RedshiftBasicEmitter时出现S3ServiceException
我正在使用GitHub中的示例AWS kinesis / redshift代码 . 我在EC2实例中运行代码并遇到以下异常 . 请注意，从Kinesis到S3的发射实际上是成功的 . 但从S3到Redshift的排放失败了 . 由于同一程序中的两个 Launcher 使用相同的凭证，我很困惑为什么只有其中一个失败！？ 据我所知，大多数人都会收到“您提供的AWS访问密钥ID在我们的记录中不存在”例外... -
4 votesanswersviews
Apache Spark Kinesis Integration：已连接，但未收到任何记录
tldr; 无法使用Kinesis Spark Streaming集成，因为它不接收任何数据 . 设置了测试流，nodejs app每秒发送1条简单记录 . 标准Spark 1.5.2集群设置了主节点和工作节点（4个核心），其中包含docker-compose，环境中的AWS凭据 spark-streaming-kinesis-asl-assembly_2.10-1.5.2.jar 已... -
-2 votesanswersviews
将事件数据从IoT设备直接写入AWS S3
有没有人试过以下选项来从物联网设备中捕获数据？ Device Events 我计划设计一个系统，设备可以直接将其触发事件发布到AWS S3 . 创建microservice / lambda，它可以为已连接的设备提供到期预签名上传URL . 当任何事件发生时，设备可以直接将其写入S3 . AWS S3存储桶将配置Lambda事件处理程序，当设备上传 .json文件时，将在PUT方法上触...