pythn爬取微博地理位置

『壹』 爬蟲怎樣爬取到所有人的微博，入口是什麼微博會專門提供一個介面供網路爬蟲爬取嗎

微博只來會提供基於關鍵字自檢索結果的介面，詳情見新浪微博的開放文檔，
http://open.weibo.com/wiki/Business_API%E6%96%87%E6%A1%A3#.E6.95.B0.E6.8D.AEAPI

『貳』 如何通過python調用新浪微博的API來爬取數據

1：安裝python(這個不多說啦)
2：下載新浪微博SDK的python包，解壓為weibopy目錄

3：申請AppKey，

流程：

1：通過oAuth認證
按我的理解簡化如下：
用戶在新浪微博給的頁面輸入賬號密碼，然後微博給應用一個PIN碼，這樣應用通過PIN碼才有許可權訪問該用戶的信息，而應用在整個過程中是接觸不到密碼的，所以用戶覺得很安全，後果很滿意
2：獲得認證之後，就可以使用微博SDK提供的API獲得信息啦
3：如果想設計web或者客戶端應用的話，那就繼續加個GUI好啦(未完成)

代碼：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler
from weibopy.api import API

AppKey = '2525355147'
AppSecret = ''

my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)

my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text

『叄』 用python 爬取微博評論，怎麼打開微博評論下的查看更多

基本復的套路就是利用微博賬制號模擬登陸，這個過程比較復雜，因為微博有加密處理，推薦去github下載一個python模擬登陸新浪的源碼。
當你通過模擬登陸進入微博界面的時候，嘗試如何用python的模塊去提交query,然後通過beautifulsoup或者是httpparse來獲取內容信息。當然，自己學習正則表達式來獲取也是可以的。

『肆』 怎麼爬取新浪微博當前頁面的內容

內容頁是可以的首頁不抓不了的！火車頭採集器設置好URL！列表頁→內容頁

『伍』 如何寫爬蟲程序爬取豆瓣網或者新浪微博里的內容

在面向對象的高級語言中，早已有人將http請求封裝成了類庫，你只需要調下介面，就能獲得目標網頁的源碼。所以程序需要做的就是請求目標url，獲取頁面的源碼，解析html。基本流程是：
獲取目標頁面源碼，方法：調用對應的類庫。
解析html文件，提取出自己想要的信息。方法：正則表達式或者解析html的庫。

按照上述步驟，C++（Qt）涉及的類是：
WebView，它的內核其實就是webkit，所以它就是一個功能原始的瀏覽器，他內置能夠返回頁面源碼的函數，接受一個url的string類型參數，返回一個QString對象。
WebView類有方法能夠處理DOM。
C#（.net）涉及的類是：
WebClient，WebRequest，HttpWebRequest等類，第一個封裝得比較高級，寫法簡單，後面兩個封裝得低級，寫起來麻煩但是用起來靈活，HttpWebRequest是WebRequest的一個子類。
Html Agility Pack。
Python涉及的包是：
urllib，urllib2，前者僅可以接受URL，不能偽裝Header，但是需要用它的一個函數對post數據進行編碼。類似於瀏覽器的有Selenium。
BeautifulSoup。
上面三種相比，python寫法最簡單，操作也靈活，要獲取源碼只要寫一句話就行。字元串處理python也毫不遜色於C#和C++。

『陸』 如何通過python調用新浪微博的API來爬取數據

先上結論，通過公開的抄api如果想爬到某大v的所有數據，需要滿足以下兩個條件：
1、在你的爬蟲開始運行時，該大v的所有微博發布量沒有超過回溯查詢的上限，新浪是2000，twitter是3200。
2、爬蟲程序必須不間斷運行。
新浪微博的api基本完全照搬twitter，其中介面的參數特性與底層的NoSQL密不可分，建議先看點Nosql資料庫的設計理念有助於更好的理解api設計。
一般來說，如果決定爬某個大v，第一步先試獲取該用戶的基本信息，中間會包含一條最新的status，記下其中的id號作為基準，命名為baseId。
介面中最重要的兩個參數：
since_id：返回ID比since_id大的微博（即比since_id時間晚的微博），默認為0。
max_id：返回ID小於或等於max_id的微博，默認為0。
出於各種原因，獲取statuses的介面，固定為按id降序排列（scan_index_forward=false），即最新的statuses返回在前。假設該微博第一天上線，就一個用戶，發了一百條，id是1到100。而你在該用戶發了第50條的時候開始運行的爬蟲，即baseId=50。

『柒』 怎麼爬取新浪微博

很多爬蟲容易被ban，分享一個我們自用的

不懂技術也可以使用，非常容易上手

『捌』 如何通過python調用新浪微博的API來爬取數據

你仔細看一下新浪微博的幫助。按ID搜索微博內容似乎是被禁止的。即使有也是受限的。 事先需要申請一個開發者的ID，然後才能用這個ID登陸，繼而進行後續的操作。

『玖』 利用新浪微博搜索功能爬取微博數據的問題

【問題解答】
由於各種功能都是通過具體的指令實現的，多項指令（命令）組成回批處理過程，才能實現「答爬取微博的功能， 模擬登錄新浪微博，然後利用新浪微博搜索功能搜索微博，當抓取超過30多個搜索結果頁面後，頁面會提示行為異常，要輸入驗證碼才能繼續搜索」，新浪微博完全可以設置判斷搜索行為的指令、界面和處理過程等，當與其出現不一致時即可判斷為「異常」，並給出提示等信息。