-
1 votesanswersviews
pyspark saveAsTextFile适用于python 2.7但不适用于3.4
我在Amazon EMR集群上运行pyspark . 我有一个非常简单的测试脚本，看看我是否可以使用spark-submit将数据写入s3 ... from pyspark import SparkContext sc = SparkContext() numbers = sc.parallelize(range(100)) numbers.saveAsTextFile("s3n://m... -
3 votesanswersviews
如何防止EMR Spark步骤重试？
我有一个AWS EMR集群（emr-4.2.0，Spark 1.5.2），我从aws cli提交步骤 . 我的问题是，如果Spark应用程序失败，那么YARN正在尝试再次运行应用程序（在相同的EMR步骤下） . 我怎么能阻止这个？ 我试图设置 --conf spark.yarn.maxAppAttempts=1 ，它在环境/火花属性中正确设置，但它不会阻止YARN重新启动应用程序 . -
0 votesanswersviews
AWS EMR集群中的spark-submit“错误：JAR中没有主类设置”
我在AWS EMR集群中收到此错误 - $ spark-submit Movierecommendation错误：无法从JAR文件加载主类：/ home / hadoop / Movierecommendation运行--help用于使用帮助或--verbose用于调试输出 可能导致此错误的原因 . Scala代码能够使用sbt进行编译 . 让我知道 . -
1 votesanswersviews
在Amazon EMR上从Dev机器启动Apache Spark作业
我目前拥有的： 在Amazon的EMR（emr-4.7.2）上运行的Spark群集 . 使用动态端口转发到主节点的SSH隧道 . 使用以下配置从我的IDE（IntelliJ IDEA）本地运行的Spark应用程序（我正在使用JAVA）： SparkConf sparkConf = new SparkConf() .setAppName("Example S... -
3 votesanswersviews
Spark作业提交：AWS EMR步骤或命令行spark-submit
我正在使用yarn作为主集群部署模式运行AWS EMR集群 . 我阅读的所有教程都使用AWS CLI在所谓的“Spark Steps”中运行spark-submit，使用类似于以下的命令： aws emr add-steps --cluster-id j-2AXXXXXXGAPLF --steps Type=Spark,Name="Spark Program",ActionOn... -
3 votesanswersviews
亚马逊网络服务 - EC2 - 活动目录（域控制器）| Web服务器（IIS）|数据库服务器（SQL Server）[关闭]
我想设置3个Windows 2012R2 EC2实例： AD服务器（域控制器） Web服务器（IIS） 数据库服务器（SQL Server） 单独设置服务器很好，但我想设置AD服务器，使其充当域控制器 . 我只想让域在 Cloud 中运行，没有必要从远程办公室访问域 . 我尝试通过安装Windows功能来设置AD服务器 . 那部分工作正常，但是，当我尝试设置静态IP时，我失去了对机... -
2 votesanswersviews
使用Tableau登录EC2
我正在尝试从Tableau登录到我的EC2实例 . 我在我的Windows机器上安装了postGresql驱动程序（安装了Tableau）并想登录我的EC2实例 . 从Tableau，它要求我...服务器端口数据库用户名密码 我必须登录的用户名/密码是什么？我可以ssh到我的EC2实例没有问题，但这是使用我的.pem文件 . 我是一个全新的人，所以有人可以帮我解决我的男生问题吗？ -
2 votesanswersviews
如何将用户从AWS Lambda添加到Cognito用户池组？
我正在尝试将一个用户a添加到来自lambda的cognito用户池组，该lambda会在确认后触发 . 这是lambda的代码： export async function postAuth(event, context, callback) { var AWS = require('aws-sdk'); var cognitoidentityserviceprovider = new A... -
2 votesanswersviews
AWS错误消息：未授权执行sts：AssumeRoleWithWebIdentity
我正在通过AWS的Android SDK示例代码 . 我有S3_WIF_PersonalFileStore工作 . 但我有一个错误，我无法在DynamoDB_WIF_UserPreference示例中修复 . 我认为问题在于信任关系 . 但我正在使用相同的值，并进行适当的值更改，作为我的工作S3_WIF_PersonalFileStore . 我的代码成功 Build 了与Facebook的会话，... -
5 votesanswersviews
Server 2012本地共享 - 无法使用\\ IP访问，但可以通过\\ localhost工作
在过去的几天里，我一直坚持这个问题而且我无法在互联网上找到有效的解决方案 . 我在Amazon AWS上运行了一个带有公共IP地址的Windows Server 2012实例 . 我将它用作SCCM（System Center 2012 Configuration Manager）服务器（因此它也是域控制器） . 我意识到在这里使用公共IP可能不是最好的做法，但我处于一个奇怪的位置，我们没有将任何... -
0 votesanswersviews
AWS RDP问题
当我尝试以管理员身份登录并输入密码时，我收到一条消息："To sign in remotely you need the right to sign in through Remote Desktop Services ..."有趣的是，它在此消息上方显示"Other user"，而不是"Administrator" . 该消息的屏幕截图... -
4 votesanswersviews
AWS SQS：在消费者中发生错误时移至死信队列
我尝试使用像sqs-queue-parallel和sqs-consumer这样的npm包来消费节点中SQS的消息 但最近我有机制，当处理时特定消息发生错误时，它应该被移动到死信队列 但截至目前，它仍在按最大接收计数次数重试消息 是否有可能与其他一些npm包，每当发生错误时它应该直接移动到死信队列？ -
1 votesanswersviews
Amazon SQS - 使消息在x秒内不可见
我有一个亚马逊SQS队列，我试图让它以这种方式工作： 当新消息添加到队列时，只有收到该消息的第一个客户端才会开始工作 对于其他人，该消息将在一段时间内不可见 是否可以使用Visibility Timeout执行此操作？ -
0 votesanswersviews
如何在HTML表单提交中停止百分比编码
我试图让我的网站用户能够从Amazon S3下载文件 . URL由我的Web服务器上的AWS私钥进行数字签名，而不是通过AJAX发送到客户端并嵌入到html表单的action属性中 . 提交表单时出现问题 . 表单的action属性包含一个具有数字签名的url . 此签名通常包含 + 符号，这些符号将进行百分比编码 . 它完全使签名无效 . 如何保持表单不受编码我的网址？ -
2 votesanswersviews
嵌入式Tomcat的Spring Boot在AWS ELB后面 - HTTPS重定向
在EC2实例上运行Spring引导应用程序端口8080 . AWS ELB配置为重定向 80 -> 8080 443 (SSL termination happens here) -> 8080 应用程序使用Spring Security，如果用户到达http://example.com，它将重定向到 . 我想登录页面使用SSL . Spring安全代码段： http.re... -
0 votesanswersviews
Spring Boot和ELB - 如何使负载均衡器将http重定向到https？
我已经通过Elastic Beanstalk部署了一个Spring Boot应用程序 . 我正在使用负载均衡器，所以这是流程（据我所知）： Internet /浏览器请求--- HTTPS --->负载均衡器--- HTTP ---> Spring Boot App Server 基本上，SSL终止于负载均衡器，而app服务器只处理普通的旧HTTP . 但是对于来自浏览器的HTTP请求... -
1 votesanswersviews
在AWS Load Balancer中将HTTP请求路由到HTTPS
我们有2个EC2实例，Nginx和Unicorn运行Rails . 我们在EC2中启动了Load Balancing选项 . 接下来，我们购买了SSL证书并使其在Load Balancer上运行 . 因此，现在我们有网址为https://app.mydomain.com工作 . 我们从Load Balancer的监听器中删除了HTTP . 现在，我们需要以某种方式将http://app.mydom... -
0 votesanswersviews
带有MVC Client的Identity Server在AWS Load Balancer后面运行
我目前在我的AWS服务上进行了以下设置 在Windows 2012 R2上的IIS上运行的MVC客户端应用程序（在http下） 在Linux上的Kestrel下运行的Identity 4安全服务（在http下） 我还使用AWS负载均衡器来处理SSL验证等，以便在HTTPS上运行应用程序 . MVC客户端应用程序和安全服务也位于不同的面向公众的URL上 . 我面临的问题如下： 当用户浏览... -
1 votesanswersviews
kubernetes：无法获取pod日志
我在 aws 上通过Rancher UI设置了一个k8s集群 . 我使用多个服务和部署部署了我的应用程序 . 但是，我完全无法访问pod /容器日志 . $ kubectl logs -f <pod_id> Unable to connect to the server: EOF 更重要的是，当通过Kubernetes仪表板访问pod并单击日志图标时，我将转移到空白页面 . 它可能... -
1 votesanswersviews
如何使用带有kubernetes的Grafana版本3？
我正在使用Kubernetes v1.2.4 @ https://github.com/kubernetes/kubernetes/releases/download/v1.2.4/kubernetes.tar.gz它附带了Grafana v2.6.0 . 我尝试使用monitoringartist / grafana-xxl：latest更改/cluster/addons/cluster-mon... -
0 votesanswersviews
用于可扩展读取应用程序的mongoDB体系结构（常量写入）
我的应用程序运行每日作业，收集数据并将其提供给mongoDB . 处理此数据，然后通过rest API公开 . 需要在AWS中设置mongodb集群，要求： 数据每天将增长大约相同的大小（约50M记录），因此写入吞吐量不会增长 读取吞吐量将取决于用户/流量的数量，因此它应该是可扩展的 . 一开始交通不会很重 . 数据主要是简单的JSON，需要围绕某些字段的几个索引进行快速查询/过滤 .... -
0 votesanswersviews
AWS S3 SDK链接器问题
嗨，我正在使用AWS SDK作为示例应用程序 . 特别是我'，试图实现S3存储桶和对象视图 . 我添加了必要的类， Headers 和框架 . 另外，我检查了构建设置，并链接了所有必要的框架 . 这些是我得到的错误 . 架构i386的未定义符号：“_ OBJC_CLASS _ $ _ AmazonClientManager”，引自：AddBucketViewController.o中的objc-... -
1 votesanswersviews
Amazon SQS消息队列
我有以下场景： 对于需要处理的作业，包含作业描述的消息将发送到Amazon SQS消息队列 我有不同的流程需要做这些工作 需要满足以下条件： 如果一个进程无法完成作业（可能是因为它在崩溃时运行的服务器），则该作业必须再次可用于其他进程 . 当正在处理一个作业时，具有相同描述的其他作业必须等到第一个作业完成或达到其超时 . 系统应根据消息队列长度轻松扩展 . 为了确保（1... -
1 votesanswersviews
手动acknolwedgement平方？
目前我们正在使用'RabbitMQ'进行可靠的消息传递，我们计划在Queue的任何消费者关闭时通过TCP移动SQS.RMQP监视其消费者，它将自动重新排队消息以进行处理 . SQS会监控所有奴隶吗？如果消息中的一个消息在处理消息时出现故障，消息是否在队列中可见？ 我试图从文档中找到相同的内容，但我找不到任何内容 . -
1 votesanswersviews
AWS：每个消息组的SQS FIFO TPS限制
从FIFO queues的AWS SQS文档中可以看出： FIFO队列还提供一次性处理，但限制为每秒300个事务（TPS） . ... FIFO队列支持允许单个队列中的多个有序消息组的消息组 . ... 始终按照相对于消息组的严格顺序逐个处理属于同一消息组的消息（但是，可能无序处理属于不同消息组的消息） . 有没有人知道这是否意味着300 TPS限制应用于while队列或每个消息组？ -
6 votesanswersviews
RabbitMQ可见性超时
RabbitMQ队列是否具有类似AWS SQS的“消息可见性超时”？ 从AWS SQS文档： “一旦Amazon SQS返回消息，可见性超时时钟就开始计时 . 在此期间，组件处理并删除消息 . 但是如果组件在删除消息之前失败会发生什么？如果您的系统之前没有为该消息调用DeleteMessage可见性超时到期后，消息再次对系统中组件发出的ReceiveMessage调用可见，并且将再次接收该消息“ ... -
34 votesanswersviews
为什么SqS消息有时会在队列中保持在飞行状态
我以非常简单的方式使用Amazon SQS队列 . 通常，消息被写入并立即可见和读取 . 有时，会写入一条消息，并在队列中保持几分钟的飞行中（不可见） . 我可以从控制台看到它 . 接收消息等待时间为0，默认可见性为5秒 . 它将保持这种状态几分钟，或者直到新消息被写入以某种方式释放它 . 几秒钟的延迟是可以的，但超过60秒是不行的 . 有8个读取器线程总是很长的轮询，所以它不是没有尝试读取它的东... -
8 votesanswersviews
延迟队列消息在SQS中是否算作“飞行中”？
我正在开展一个我打算使用an Amazon SQS Delay Queue的项目 . 我在理解“飞行”消息的确切含义时遇到了一些麻烦 . 文档中有一条说明： 注意每个队列的机上信息数量限制为120,000 . 消息在队列接收后仍处于空中，但尚未从队列中删除 . 如果达到120,000限制，您将收到来自Amazon SQS的OverLimit错误消息 . 为了避免达到限制，您应该在处理完队列后删除... -
4 votesanswersviews
Amazon SQS：两个当前消费者使用相同的消息
我有四个当前的消费者在Amazon AWS上侦听同一个队列 . 从队列中拉下消息时，有时两个不同的消费者会消耗相同的消息 . 请参阅下面的日志： 18：01：46,515 [jmsContainer-2] DEBUG - 从队列中收到消息：ID：3698a927-930b-4d6a-aeca-f66922528792 18：02：12,825 [jmsContainer-3] DEBUG - ... -
2 votesanswersviews
AWS Beanstalk：SQS的指数退避？
我们正在使用Beanstalk上的工作层发送webhook . 如果在联系第三方时出现任何错误，我们需要使用指数退避 . 但是，我不清楚这是如何工作的 . 如果作业失败并且我调用 ChangeMessageVisibility 来增加退避时间，我有两个选择： 返回成功200.然后SQS将其从队列中删除 - 不好 . 返回错误代码 . 然后SQS会将消息可见性覆盖为默认值？ 从Envir...