首页 文章

在谷歌colab中读取csv到dataframe

提问于
浏览
15

我正在尝试读取我在本机上存储的csv文件 . (仅供参考,它是来自Kaggle的巨大数据,是here . )

this问题和答案我了解到你可以使用这个代码导入数据,这对我很有用 .

from google.colab import files
uploaded = files.upload()

丢失的地方是如何从这里将其转换为数据帧 . 上面答案中列出的sample google notebook page没有谈到它 .

我试图使用 from_dict 命令将字典 uploaded 转换为数据帧,但无法使其工作 . 有一些关于将dict转换为dataframe here的讨论,但解决方案不适用于我(我认为) .

总结一下,我的问题是:

How do I convert a csv file stored locally on my files to pandas 
datframe on google-colaboratory?

5 回答

  • 1

    熊猫 read_csv 应该做的伎俩 . 您需要将上传的字节包装在 io.StringIO 中,因为 read_csv 需要一个类似文件的对象 .

    这是一个完整的例子:https://colab.research.google.com/notebook#fileId=1JmwtF5OmSghC-y3-BkvxLan0zYXqCJJf

    关键片段是:

    import pandas as pd
    import io
    
    df = pd.read_csv(io.StringIO(uploaded['train.csv'].decode('utf-8')))
    df
    
  • 0

    这对我有用:

    from google.colab import auth
    auth.authenticate_user()
    
    from pydrive.drive import GoogleDrive
    from pydrive.auth import GoogleAuth
    from oauth2client.client import GoogleCredentials
    gauth = GoogleAuth()
    gauth.credentials = GoogleCredentials.get_application_default()
    drive = GoogleDrive(gauth)
    
    myfile = drive.CreateFile({'id': '!!!YOUR FILE ID!!!'})
    myfile.GetContentFile('file.csv')
    

    !!!YOUR FILE ID!!! 替换为google驱动器中文件的ID(这是单击"obtain link to share"时显示的长字母数字字符串) . 然后你可以使用pandas的read_csv访问file.csv:

    import pandas as pd
    frm = pd.read_csv('file.csv', header=None)
    
  • 2

    Colab google: uploading csv from your PC 我对excel文件(* .xlsx)有同样的问题,我解决了以下问题,我认为你可以对csv文件做同样的事情: - 如果你的PC驱动器中有一个文件叫(file.xlsx) )然后:1-使用这个简单的代码从硬盘上传它:

    from google.colab import files
    uploaded = files.upload()
    

    按开(选择文件)并将其上传到您的谷歌硬盘 .

    2-然后:

    import io
    data = io.BytesIO(uploaded['file.XLSX'])
    

    3-最后,阅读你的文件:

    import pandas as pd   
    f = pd.read_excel(data , sheet_name = '1min', header = 0, skiprows = 2)
    #df.sheet_names
    df.head()
    

    4-请更改参数值以读取您自己的文件 . 我认为这可以推广到阅读其他类型的文件!
    好好享受!

  • 1

    step 1- Mount your Google Drive to Collaboratory

    from google.colab import drive 
    drive.mount('/content/gdrive')
    

    step 2- Now you will see your Google Drive files in the left pane (file explorer). Right click on the file that you need to import and select çopy path. Then import as usual in pandas, using this copied path.

    import pandas as pd 
    df=pd.read_csv('gdrive/My Drive/data.csv')
    

    完成!

  • 24

    或者,您也可以使用github导入文件 . 您可以将此作为示例:https://drive.google.com/file/d/1D6ViUx8_ledfBqcxHCrFPcqBvNZitwCs/view?usp=sharing

    谷歌也不会将文件保留更长时间,因此您可能需要一次又一次地运行github片段 .

相关问题