-
1 votesanswersviews
CloudFront Origin Access Identity签名URL上传的文件无法通过boto3或IAM角色访问?
我跟随cloudfront docuement http://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/private-content-restricting-access-to-s3.html#private-content-granting-permissions-to-oai获取私人文件 . 存储桶策略如下所示: {... -
1 votesanswersviews
使用boto3 python计算s3中csv文件的行数
我正在努力找到正确的方法来读取和解析csv文件,以便输出文件中包含的行数 我试图弄清楚使用不同的方法,但我有点难过 import boto3, botocore, csv s3 = boto3.resource('s3') s3obj = s3.Object('mybucket','myfile') with s3obj.get() as f: reader=csv.reader(f,... -
3 votesanswersviews
Cloudwatch事件不会触发我的lambda函数,即使它是一个目标
我有一个lambda函数,它接受一个数据集名称,并专门为该数据集创建一个新的lambda . 这是设置它的代码: lambda_response = lambda_client.create_function( FunctionName=job_name, Runtime='python3.6', Role=role_name, Ha... -
2 votesanswersviews
如何通过忽略boto3中的空元素将JSON数据写入Dynamodb
我想将以下数据组写入Dynamodb .大约有100个数据 . 由于不一定需要图像,因此存在具有和不具有image_url元素的混合 . (questionsList.json) { "q_id" : "001", "q_body" : "Where is the capital of the United States... -
0 votesanswersviews
AWS DynamoDB - Boto3从dynamoDB表/结构中获取所有属性,字段名,列 Headers
最好 此时我在python 2.7中使用Boto3,我想要的是:我的特定DynamoDB表的列 Headers . 此时,我正在处理一个非常大的dynamoDB表,包含80列和1.00O.000条记录 . 我的任务就是操纵这些数据 . 要做到这一点,我正在利用块 . 这意味着我每次从我的数据表中检索1000行并操纵它们并将新结果写入csv . (由于某些原因,这是必需的) . 但是因为我正在使... -
0 votesanswersviews
boto3列出了AWS账户的所有安全组
有没有办法使用boto3列出所有AWS安全组? 使用此代码,我只能获得5组(区域内25个) client = boto3.client('ec2') response=client.describe_security_groups( ) print response 我有4个VPC,所以我试图为每个VPC获取组,将其添加为过滤器: Filters=[ { ... -
0 votesanswersviews
使用BOTO3授予AWS Api网关权限以调用Lambda函数
我试图使用BOTO3创建一个调用lambda函数的Api Gateway方法 . 到目前为止,我一直无法找到如何授予必要的权限 . 奇怪的是,通过AWS控制台手动设置lambda方法名称会自动设置权限 . 我无法在代码中复制此内容 . 这是我用来设置网关的代码: # Create a rest api self.rest_api = self.apigateway.create_rest_api(... -
1 votesanswersviews
如何使用python将流上传到AWS s3
我想创建lambda从S3获取zip文件(可能包含csv文件的列表),解压缩并上传回s3 . 由于lambda受内存/磁盘大小的限制,我必须从s3流回来并返回到它 . 我使用python(boto3)看下面的代码(我更像是一个java家伙,对python来说是新手......) count = 0 obj = s3.Object( bucket_name, key ) buffer = io.By... -
3 votesanswersviews
AWS Cognito - 如何确定未经身份验证的用户?
我将AWS Lambda函数与Cognito经过身份验证的用户配合使用 . 我现在正试图让未经身份验证的Cognito用户继续前进 . 我无法在后端找到任何方法来确定调用Lambda函数的当前用户是否经过身份验证或未经身份验证 . 我对用户的识别信息是他们的Cognito IdentityId,但我如何使用它来找出未经身份验证的? 我在Lambda中使用Python boto3.6 . -
0 votesanswersviews
boto3 SNS发送推送到应用程序?
我发送推送消息时遇到问题,我很乐意得到帮助 . 这是我目前的状态: aws应用程序"Android test app" aws应用程序"Iphone test app" aws话题arn 我想向两个应用程序发送消息,实际发布是应用程序吗?还是按主题?让我们说我有两个用户一个用iPhone和一个用android . 两者都从不同的应用程序订阅了... -
1 votesanswersviews
如何通过boto3访问eu-west-1中Athena表的Athena / Glue目录?
我需要编写一份使用Athena数据目录中数据的工作 . 我正在使用Python和boto3 . 由于Glue已经发布,我似乎通过Glue API使用以下代码访问我的数据目录: import boto3 from pprint import pprint glue = boto3.client('glue', region_name='us-east-1') response = glue.ge... -
4 votesanswersviews
Airflow S3KeySensor - 如何让它继续运行
在this Stackoverflow post的帮助下,我刚刚制作了一个程序(帖子中显示的程序),当一个文件放在S3存储桶中时,我的一个正在运行的DAG中的任务被触发,然后我使用BashOperator执行一些工作 . 一旦它始终在运行,并且只要在S3存储桶中放置新文件,程序就会启动任务.'s done though the DAG is no longer in a running state... -
2 votesanswersviews
使用lambda作为 endpoints 订阅SNS主题
我正在尝试使用lambda函数作为 endpoints 订阅SNS主题 . 在通过AWS控制台进行尝试时,它完全正常 . 在SNS-> Subscriptions中添加了订阅,这又在Lambda-> Functions - > [function_name] - > Triggers中为lambda函数添加了一个触发器 在通过boto3或AWS cli尝试相同的事情时,... -
1 votesanswersviews
自动部署AWS API网关阶段
我如何使用Boto3通过Python脚本自动部署AWS API Gateway?例如,如果我在AWS Portal的AWS Gateway中创建了一个名为“V1”的阶段,我将如何编写脚本来部署该阶段(“V1”)? 当前流程涉及从AWS控制台手动部署阶段,并且不可编写脚本 . 出于自动化的目的,我想有一个脚本来做同样的事情 . 咨询Boto3文档,我看到有一种创建阶段的方法(http://boto3... -
0 votesanswersviews
调用client.request_spot_instances方法时抛出AWS Boto3 BASE64编码错误
我正在尝试使用boto3(环境Python 3.5,Windows 7)提交EC2 SPOT实例的请求 . 我需要传递 UserData 参数来运行初始脚本 . 我得到的错误是文件"C:\Users...\Python\Python35\lib\site-packages\botocore\client.py",第222行,在_make_api_call中引发ClientErr... -
2 votesanswersviews
如何使用boto3标记AWS Lambda函数
我有代码创建类型为'lambda'的boto3客户端 . 然后我使用该客户端调用list_functions(),create_function()和update_function()方法 . 这一切都很好,如本文档中所述:http://boto3.readthedocs.io/en/latest/reference/services/lambda.html#Lambda.Client.list_... -
6 votesanswersviews
使用boto3 lib和AWS Lambda从位于S3存储桶中的压缩文件中获取数据流
我正在尝试为我的chron作业创建一个无服务器处理器 . 在这个作业中,我从我的一个客户端收到我的S3存储桶中的压缩文件,文件大小约为 50MB 但是一旦你解压缩它,它就变成 1.5GB 了由于我无法从S3存储桶下载此文件并将其解压缩到我的Lambda上,因此AWS Lambda上可用空间的硬限制是 500MB ,我已成功解压缩文件并使用 funzip 逐行流式传输内容在unix脚本中 . for... -
0 votesanswersviews
在AWS lambda中使用较新版本的botocore
我想在lambda函数中使用Boto3 put_bucket_encryption,但当前的Lambda execution enviornment是在botocore版本1.7.37,并且put_bucket_encryption是在botocore 1.7.41中引入的 . 所以我想打包我的本地版本的boto3 / botocore . 我使用serverless framework和serv... -
2 votesanswersviews
无服务器AWS(Python)从S3读取:访问被拒绝
我有一个问题,从我的lambda函数(FrameWork serverless)到AWS中的S3服务的getObject访问 . 这里是我的代码示例: import boto3 import csv def hello(event, context): s3 = boto3.resource('s3') bucket = s3.Bucket('myBucket') obj ... -
6 votesanswersviews
无法使用boto3为lambda添加s3通知
我想使用boto3配置s3存储桶,以便每次在该存储桶中创建对象时调用AWS lambda . 这是我的代码: s3 = ..boto3 resource bucket_notification = s3.BucketNotification(bucket_name) lambda_arn = .. arn for lambda response = bucket_notification.put... -
2 votesanswersviews
尝试使用boto3访问s3存储桶,但获得403
我写了一个python脚本从s3存储桶下载一些文件 . 该脚本在一台机器上运行正常,但在另一台机器上运行 . 以下是我得到的异常:botocore.exceptions.ClientError:调用HeadObject操作时发生错误(403):禁止 . 我很确定它与某些系统配置或与注册表相关的内容有关,但不知道到底是什么 . 两台机器都运行Windows 7和python 3.5 . 有什么建议 ... -
0 votesanswersviews
使用boto3中的IAM ARN连接到s3存储桶
我正在尝试使用IAM角色连接到s3存储桶 . 我的存储桶名称是:test-bucket我创建了一个名称为: my_role_s3 的角色,并为其提供了完整的s3访问权限(即'AmazonS3FullAccess') 当我尝试使用代码访问存储桶的名称时 - import boto3 import os os.environ["HTTP_PROXY"] = "http:/... -
1 votesanswersviews
如何使用python asyncio从EC2实例调用AWS Lambda函数
我最近发布了一个关于How to allow invoking an AWS Lambda function only from EC2 instances inside a VPC的问题 . 我设法通过将带有"AWS lambda role"策略的IAM角色附加到EC2实例来实现它,现在我可以使用boto3调用lambda函数 . 现在,我想使用asyncio await语法... -
0 votesanswersviews
AWS Lambda在EC2实例状态下发送邮件
我创建了一个AWS Lambda函数,以便在EC2实例更改状态时发送警报邮件(SNS),这非常正常 . 我这样做是通过在cloudWatch中创建一个规则来触发我的lambda函数并捕获所有实例细节并发布SNS来发送邮件 . Current Feature: 1.触发点 - 实例状态的变化2. Lambda触发 - 捕获实例状态(运行/停止)3 . Lambda发布SNS邮件 - Mail有关... -
6 votesanswersviews
如何使用带有moto的boto3测试方法
我正在编写测试用例,以便使用boto3从s3中查找/获取密钥 . 我过去使用过moto来测试boto(而不是3)代码,但我正试图通过这个项目转移到boto3,并遇到了一个问题: class TestS3Actor(unittest.TestCase): @mock_s3 def setUp(self): self.bucket_name = 'test_bucket... -
0 votesanswersviews
模拟boto3 ec2实例并运行python脚本
我陷入了一个独特的场景,非常感谢相关人员的一些帮助 . 我正在编写一个python脚本,它在rds中备份快照并将日志存储在ec2实例中 . 我遇到的问题是我没有测试ec2实例设置,它存储所有日志,如 生产环境 ec2实例 . 目前我无法测试ec2实例,这就是我使用解决方法的原因 . 请不要问我为什么不使用S3存储桶或cloudwatch存储日志,因为我不负责架构 . 我在测试复制时使用的方法是使用... -
0 votesanswersviews
使用Python将MongoDB输出结果导入S3存储桶
MongoDB数据库名称: - testdb , 系列名称: - test_collection 我要执行的MongoDB命令: - db.getCollection('test_collection').find({ request_time: { $gte: new Date('2018-06-22'), $lt: new Date('2018-06-26') }}); 在 test... -
0 votesanswersviews
Amazon S3递归删除子文件夹
我有一个带有嵌套文件夹和文件结构的S3存储桶 . 我知道S3有一个扁平的概念,但在我清楚地陈述我的问题时请耐心等待 . 我想这样做: delete bucket/do-not-delete-folder/delete-this-folder-recursively 我已经倾注了S3文档,并按照python - Amazon S3 boto - how to delete folder? - St... -
1 votesanswersviews
如何在通过AWS Athena查询结果进行分页时跳过 Headers
我有一个Angular 6应用程序,它从AWS Lambda请求数据 . 数据本身存储在Glue数据库中,并使用AWS Athena进行查询 . AWS Glue数据库设置了 skip.header.line.count=1 选项,当我在控制台中运行Athena查询时,我得到一个没有 Headers 的响应 . 当我尝试使用 boto3 检索数据时,会发生此问题 . 我有一个运行查询的函数,然后... -
2 votesanswersviews
安装后无法导入boto3库
我从AWS SDK安装了boto3库,但是当我尝试在python解释器中导入时,我收到错误 . 这是追溯: import boto3 Traceback(最近一次调用最后一次):文件“”,第1行,在文件“/home/rahul/rahul/boto3/boto3/init.py”,第16行,来自boto3.session导入会话文件“/ home / rahul / rahul / boto3 ...