首页 文章

Azure Data Lake Store的通配符在Data Factory中输入

提问于
浏览 次
1

我正在查看moving data to and from an Azure Data Lake Store上的Microsoft文档，并找到有关 fileName 属性的以下内容：

Azure Data Lake存储中的文件名 . fileName是可选的，区分大小写 . 如果指定文件名，则活动（包括“复制”）将对特定文件起作用 . “

我在这里没有看到任何提及通配符 . 例如，我如何使用文件夹中的所有文件，而只使用匹配 2017-foo-*.json 的文件？我尝试了星号，但似乎字面意思 .

azure-data-factory azure-data-lake

1 回答

  • 2

    根据您的源和接收器，您可以使用 fileFilter 属性而不是fileName来使用通配符，例如来自here的引用：

    允许的值是：（多个字符）和？ （单个字符） . 示例1：“fileFilter”：“ . log”示例2：“fileFilter”：2014-1 - ？ . txt“请注意，fileFilter适用于输入FileShare数据集 .

    此示例适用于本地文件共享：

    {
    "name": "InputDataset-AllFiles",
    "properties": {
        "published": false,
        "type": "FileShare",
        "linkedServiceName": "OnPremisesFileServerLinkedService",
        "typeProperties": {
            "fileFilter": "*.txt",
            "folderPath": "."
        },
        "availability": {
            "frequency": "Day",
            "interval": 1
        },
        "external": true,
        "policy": {}
    }
}

    我不确定这个属性是否适用于其他类型，如blob存储，数据湖等 . 你能否确认你的源和汇（假设其中一个是数据湖）？

    更多信息在这里：

    https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

    Polybase now supports ADLS所以你可以在没有这些ADF诡计的情况下以这种方式移动数据 .

    回复于

相关问题