pythn爬取微博地理位置

『壹』 爬虫怎样爬取到所有人的微博，入口是什么微博会专门提供一个接口供网络爬虫爬取吗

微博只来会提供基于关键字自检索结果的接口，详情见新浪微博的开放文档，
http://open.weibo.com/wiki/Business_API%E6%96%87%E6%A1%A3#.E6.95.B0.E6.8D.AEAPI

『贰』 如何通过python调用新浪微博的API来爬取数据

1：安装python(这个不多说啦)
2：下载新浪微博SDK的python包，解压为weibopy目录

3：申请AppKey，

流程：

1：通过oAuth认证
按我的理解简化如下：
用户在新浪微博给的页面输入账号密码，然后微博给应用一个PIN码，这样应用通过PIN码才有权限访问该用户的信息，而应用在整个过程中是接触不到密码的，所以用户觉得很安全，后果很满意
2：获得认证之后，就可以使用微博SDK提供的API获得信息啦
3：如果想设计web或者客户端应用的话，那就继续加个GUI好啦(未完成)

代码：

#!/usr/bin/python

import webbrowser

from weibopy.auth import OAuthHandler
from weibopy.api import API

AppKey = '2525355147'
AppSecret = ''

my_auth = OAuthHandler(AppKey , AppSecret)
webbrowser.open(my_auth.get_authorization_url())
verifier = raw_input('PIN: ').strip()
my_auth.get_access_token(verifier)

my_api = API(my_auth)
for comment in my_api.mentions():
object = comment
id = object.__getattribute__("id")
text = object.__getattribute__("text")
print str(id) + " : " + text

『叁』 用python 爬取微博评论，怎么打开微博评论下的查看更多

基本复的套路就是利用微博账制号模拟登陆，这个过程比较复杂，因为微博有加密处理，推荐去github下载一个python模拟登陆新浪的源码。
当你通过模拟登陆进入微博界面的时候，尝试如何用python的模块去提交query,然后通过beautifulsoup或者是httpparse来获取内容信息。当然，自己学习正则表达式来获取也是可以的。

『肆』 怎么爬取新浪微博当前页面的内容

内容页是可以的首页不抓不了的！火车头采集器设置好URL！列表页→内容页

『伍』 如何写爬虫程序爬取豆瓣网或者新浪微博里的内容

在面向对象的高级语言中，早已有人将http请求封装成了类库，你只需要调下接口，就能获得目标网页的源码。所以程序需要做的就是请求目标url，获取页面的源码，解析html。基本流程是：
获取目标页面源码，方法：调用对应的类库。
解析html文件，提取出自己想要的信息。方法：正则表达式或者解析html的库。

按照上述步骤，C++（Qt）涉及的类是：
WebView，它的内核其实就是webkit，所以它就是一个功能原始的浏览器，他内置能够返回页面源码的函数，接受一个url的string类型参数，返回一个QString对象。
WebView类有方法能够处理DOM。
C#（.net）涉及的类是：
WebClient，WebRequest，HttpWebRequest等类，第一个封装得比较高级，写法简单，后面两个封装得低级，写起来麻烦但是用起来灵活，HttpWebRequest是WebRequest的一个子类。
Html Agility Pack。
Python涉及的包是：
urllib，urllib2，前者仅可以接受URL，不能伪装Header，但是需要用它的一个函数对post数据进行编码。类似于浏览器的有Selenium。
BeautifulSoup。
上面三种相比，python写法最简单，操作也灵活，要获取源码只要写一句话就行。字符串处理python也毫不逊色于C#和C++。

『陆』 如何通过python调用新浪微博的API来爬取数据

先上结论，通过公开的抄api如果想爬到某大v的所有数据，需要满足以下两个条件：
1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，twitter是3200。
2、爬虫程序必须不间断运行。
新浪微博的api基本完全照搬twitter，其中接口的参数特性与底层的NoSQL密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。
一般来说，如果决定爬某个大v，第一步先试获取该用户的基本信息，中间会包含一条最新的status，记下其中的id号作为基准，命名为baseId。
接口中最重要的两个参数：
since_id：返回ID比since_id大的微博（即比since_id时间晚的微博），默认为0。
max_id：返回ID小于或等于max_id的微博，默认为0。
出于各种原因，获取statuses的接口，固定为按id降序排列（scan_index_forward=false），即最新的statuses返回在前。假设该微博第一天上线，就一个用户，发了一百条，id是1到100。而你在该用户发了第50条的时候开始运行的爬虫，即baseId=50。

『柒』 怎么爬取新浪微博

很多爬虫容易被ban，分享一个我们自用的

不懂技术也可以使用，非常容易上手

『捌』 如何通过python调用新浪微博的API来爬取数据

你仔细看一下新浪微博的帮助。按ID搜索微博内容似乎是被禁止的。即使有也是受限的。 事先需要申请一个开发者的ID，然后才能用这个ID登陆，继而进行后续的操作。

『玖』 利用新浪微博搜索功能爬取微博数据的问题

【问题解答】
由于各种功能都是通过具体的指令实现的，多项指令（命令）组成回批处理过程，才能实现“答爬取微博的功能， 模拟登录新浪微博，然后利用新浪微博搜索功能搜索微博，当抓取超过30多个搜索结果页面后，页面会提示行为异常，要输入验证码才能继续搜索”，新浪微博完全可以设置判断搜索行为的指令、界面和处理过程等，当与其出现不一致时即可判断为“异常”，并给出提示等信息。