//aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870
抖音使用的智能推薦機(jī)制。我們這里依舊是通過fiddler抓包（Fiddler是一款常見的抓包分析工具，對數(shù)據(jù)進(jìn)行截獲、重發(fā)、編輯、轉(zhuǎn)存的過程叫做抓包）。現(xiàn)在的抖音有加密算法，之前網(wǎng)上的大部分代碼都不能用了，我們先看看有哪些加密字段。
import requestsimport jsonf = open('2.txt','w+',encoding='utf-8')headers = {'Host': 'api.amemv.com','Accept': '*/*','Cookie': 'install_id=40337863888; login_flag=d6f29ec905af4bf1101199aa942c466f; odin_tt=a1e12dc3e4b92de77cccf6be1717377188f8aa7582f703c1391c8dc7d4a0df1b166119681af4277bd2cdc8aeb56000a7; sessionid=718df70f4e4964723cd1c8337c367b45; sid_guard=718df70f4e4964723cd1c8337c367b45%7C1534207148%7C5184000%7CSat%2C+13-Oct-2018+00%3A39%3A08+GMT; sid_tt=718df70f4e4964723cd1c8337c367b45; ttreq=1$ad10f98ec66ad6df5b86a7b1a613c77bb674236d; uid_tt=765536856bdc4f0f299b85dbc7338982','User-Agent': 'Aweme/2.3.1 (iPhone; iOS 11.4.1; Scale/2.00)','Accept-Language': 'zh-Hans-CN;q=1','Accept-Encoding': 'br, gzip, deflate','Connection': 'keep-alive'}def get_info(url):res = requests.get(url,headers=headers)json_data = json.loads(res.text)datas = json_data['aweme_list']for data in datas:desc = data['desc']download_url = data['video']['play_addr']['url_list'][0]print(desc,download_url)f.write(desc+','+download_url+'')if __name__ == '__main__':fp = open('1.txt', 'r')for line in fp.readlines():get_info(line.strip())
這里主要是mas和as參數(shù)不知道咋構(gòu)造，這里因為只是爬一個用戶的數(shù)據(jù)，所以把整個url都copy到txt中，然后請求獲取數(shù)據(jù)。
視頻下載
在網(wǎng)上看說，這個鏈接只有10多分鐘的有效期（沒有驗證），所以爬蟲先把視頻鏈接先保存下來，然后再統(tǒng)一下載。
-
哈哈哈，當(dāng)爬蟲撞見小姐姐，你的樣子我都有啦！
爬蟲基礎(chǔ)知識
那么一般學(xué)習(xí)爬蟲要學(xué)習(xí)到哪種程度呢？
（必要部分）
語言選擇：一般是了解Python、Java、Golang之一
熟悉多線程編程、網(wǎng)絡(luò)編程、HTTP協(xié)議相關(guān)
開發(fā)過完整爬蟲項目（最好有全站爬蟲經(jīng)驗，這個下面會說到）
反爬相關(guān)，cookie、ip池、驗證碼等等
熟練使用分布式
（非必要，建議）
了解消息隊列，如RabbitMQ、Kafka、Redis等
具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)經(jīng)驗
熟悉APP數(shù)據(jù)采集、中間人代理
大數(shù)據(jù)處理（Hive/MR/Spark/Storm）
數(shù)據(jù)庫Mysql、redis
熟悉Git操作、linux環(huán)境開發(fā)
讀懂js代碼、這個真的很重要
好了，大家收到這份雙十二福利，開不開心？
您現(xiàn)在所在的位置：首頁 >關(guān)于奇酷 > 行業(yè)動態(tài) > 爬蟲實戰(zhàn)丨高能預(yù)警！抖音小姐姐視頻集來了！
