0

在这里点燃新手。我有大量数据被收集并存储在一个文件夹中,这些数据与它在 ADLS 上发生的日期相对应。每个文件夹都根据日期命名(例如:<2020-12-04>)。我正在尝试查询最近 30 天内发生的最新数据。目前,我正在尝试从 adls 中读取并尝试切换日期,直到我受到打击,但我无法找到一种方法来检查提供的路径是否有效。导致错误。任何指针都会有所帮助

while !folderFound
{
  string path = $"adls://<adlsaccount>/{listofdates[i]}/<file>;
  DataFrame df = spark.Read().orc(path); //need to know if the path is valid so it doesn't error
  .
  .
  .
}
  do some work once we get a successful read
4

0 回答 0