Python处理TSV文件数据

Python通过pandas读取TSV文件数据，
按行获取数据中的链接等信息，
下载链接文件到本地目录，
并提取需求数据生成CSV新文件。

code

from time import sleep
import pandas as pd
import requests
import csv

# 文件路径
path = 'photos.tsv000'

# pandas读取TSV文件数据
# 文件分隔符为\t
# header为表头
train = pd.read_csv(path, sep='\t', header=0)

# 将输出中的省略号去掉：需要更改默认设置
# pd.set_option('display.max_columns', None)  # 设置列不限制数量
# pd.set_option('display.max_rows', None)     # 设置行不限制数量

# pandas.core.frame.DataFrame数据结构转化为数组
num = train.values.tolist()

# 图片格式化命名
photo_num = 1

# 按行遍历数组
for row in num:
    # 图片地址
    photo_url = row[2]
    # 图片维度
    photo_location_latitude = row[15]
    # 图片经度
    photo_location_longitude = row[16]
    # 获取图片，并格式化命名，放到文件夹
    image = requests.get(photo_url)
    with open("D:\\Unsplash\\images\\{}.jpg".format(photo_num), "wb") as f:
        f.write(image.content)

    # 写需求数据到CSV文件
    with open("D:\\Unsplash\\map.csv", "a+", newline="") as file:
        writer = csv.writer(file)
        # 先写入columns_name
        if photo_num == 1:
            writer.writerow(["photo_url", "photo_location_latitude", "photo_location_longitude"])
        # 写入一行用writerow
        writer.writerow(["{}.jpg".format(photo_num), photo_location_latitude, photo_location_longitude])

    # 打印图片下载完成提醒
    print("{}.jpg 下载完成".format(photo_num))

    # 图片命名序号+1
    photo_num += 1

    # 睡眠2s
    sleep(2)