Веб-скрапинг^{(Web scraping)} — это процесс извлечения данных, информации или изображений с веб-сайта с использованием автоматизированного метода. Думайте^(Think) об этом как о копировании и вставке^{(copy and paste)} в полностью автоматическом режиме.

Мы либо пишем, либо используем приложение, чтобы переходить на нужные нам веб-сайты и делать копии определенных вещей, которые мы хотим получить с этих веб-сайтов. Это намного точнее, чем скачивание всего веб-сайта.

Как и любой инструмент, веб-скрапинг можно использовать во благо или во зло. Одними из лучших причин для парсинга веб-сайтов будут ранжирование его в поисковой системе^{(search engine)} на основе его содержания, сравнение цен^{(price comparison shopping)} или отслеживание информации о фондовом рынке^{(stock market information)} . Вы даже можете использовать его как своего рода исследовательский инструмент .^{(research tool)}

Как я могу парсить сайты с помощью Excel ?

Хотите верьте, хотите нет, но в Excel уже давно есть возможность извлекать данные с веб-сайтов, по крайней мере, начиная с Excel 2003 . Просто веб-скрапинг — это то, о чем большинство людей не думают^{(t think)} , не говоря уже об использовании программы для работы с электронными таблицами^{(spreadsheet program)} . Но это удивительно легко и мощно. Давайте узнаем, как это сделать, создав коллекцию сочетаний клавиш Microsoft Office .^{(Microsoft Office keyboard)}

Найдите сайты, которые хотите парсить

Первое, что мы собираемся сделать, это найти конкретные веб-страницы, с которых мы хотим получить информацию. Перейдем к источнику и поищем^{(source and search)} на https://support.office.com/ . Мы собираемся использовать поисковый термин^{(search term)} «часто используемые ярлыки». Мы можем сделать его более конкретным, используя имя конкретного приложения, например Outlook , Excel , Word и т. д. Может быть хорошей идеей добавить страницу результатов в закладки, чтобы мы могли легко вернуться туда.

Нажмите^(Click) на результат поиска^{(search result)} «Сочетания клавиш в Excel для Windows». Оказавшись на этой странице, найдите список версий Excel и нажмите « Новые версии^{(Newer Versions)} » . Теперь мы работаем с последними и лучшими.

Мы могли бы вернуться на нашу страницу результатов поиска и открыть результаты для всех других приложений Office^{(Office apps)} на их собственных вкладках и добавить их в закладки. Это хорошая идея, даже для этого упражнения. На этом большинство людей остановятся, собирая ярлыки Office , но не мы. ^(Office)Мы собираемся поместить их в Excel , чтобы мы могли делать с ними все, что захотим, когда захотим.

Откройте Excel и очистите

Откройте Excel и создайте новую книгу. Сохраните книгу как ярлыки Office^{(Office Shortcuts)} . Если у вас есть OneDrive, сохраните его там, чтобы работала функция автосохранения^{(AutoSave )} .

После сохранения рабочей книги щелкните вкладку « Данные^(Data) ».

На ленте вкладки «Данные»^{(Data tab)} нажмите « Из Интернета^{(From Web)} » .

Откроется окно мастера из Интернета . ^{(From Web )}Здесь мы помещаем веб-адрес или URL^{(web address or URL)} -адрес веб-сайта, с которого мы хотим извлечь данные. Переключитесь на веб-браузер и скопируйте^(copy) URL-адрес.

Вставьте URL-адрес в поле URL -адреса ^(URL)мастера From Web^{(From Web wizard)} . Мы могли бы использовать это в базовом^(Basic) или расширенном^(Advanced) режиме. Расширенный режим^{(Advanced mode)} дает нам гораздо больше возможностей для доступа к данным с веб-сайта. Для этого упражнения нам нужен только базовый режим. Нажмите ^(Click) ОК^(OK) .

Теперь Excel^(Excel) попытается подключиться к веб-сайту. Это может занять несколько секунд. Мы увидим окно прогресса^{(progress window)} , если это произойдет.

Откроется окно Навигатора^(Navigator) , и слева мы увидим список столов с сайта. Когда мы выберем один, мы увидим предварительный просмотр таблицы справа. Выберем таблицу Часто используемые сочетания клавиш .^{(Frequently used shortcuts )}

Мы можем щелкнуть вкладку « Веб-просмотр^{(Web View)} », чтобы увидеть фактический веб-сайт, если нам нужно просмотреть таблицу, которую мы хотим. Когда мы найдем его, мы можем щелкнуть по нему, и он будет выбран для импорта.

Теперь мы нажимаем кнопку « Загрузить^(Load) » в нижней части этого окна. Есть и другие варианты, которые мы могли бы выбрать, более сложные и выходящие за рамки нашей первой очистки. Просто знайте, что они есть. Возможности веб-скрейпинга в Excel очень мощные.

Веб -таблица^{(web table)} будет загружена в Excel через несколько секунд. Мы увидим данные слева, где цифра 1 на картинке ниже. Номер 2 выделяет запрос^(Query) , используемый для получения данных с веб-сайта. Когда у нас есть несколько запросов в рабочей книге, именно здесь мы выбираем тот, который нам нужно использовать.

Обратите внимание^(Notice) , что данные поступают в электронную таблицу в виде таблицы Excel. Он уже настроен для того, чтобы мы могли фильтровать или сортировать данные.

Мы можем повторить этот процесс для всех других веб-страниц, содержащих ярлыки Office , которые нам нужны для ^(Office)Outlook , Word , Access , PowerPoint и любого другого приложения Office^{(Office app)} .

Сохранение очищенных данных в актуальном состоянии^{(Scraped Data Current)} в Excel

В качестве бонуса для вас мы узнаем, как поддерживать актуальность очищенных данных в Excel . Это отличный способ проиллюстрировать, насколько мощен Excel для извлечения данных. Даже при этом мы делаем только самую простую очистку, которую может сделать Excel .

В этом примере давайте воспользуемся веб-страницей с биржевой информацией , такой как ^{(stock information)}https://www.cnbc.com/stocks/ .

Повторите то, что мы делали раньше, скопируйте и вставьте^{(copy and paste)} новый URL -адрес из адресной строки^{(address bar)} .

Вы попадете в окно Navigator^{(Navigator window)} и увидите доступные столы. Давайте выберем основные фондовые индексы США^{(Major U.S. Stock Indices)} .

После очистки данных мы увидим следующую электронную таблицу.

Справа мы видим запрос для основных фондовых индексов США^{(Major U.S. Stock Indexes)} . Выберите^(Select) это, чтобы оно было выделено. Убедитесь^(Make) , что мы находимся на вкладке « Инструменты для таблиц » и в области « ^{(Table Tools)}Дизайн»^(Design) . Затем щелкните стрелку вниз в разделе « Обновить^(Refresh) » . Затем нажмите «Свойства подключения^{(Connection Properties)} » .

В окне « Свойства запроса^{(Query Properties )} » на вкладке « Использование^(Usage) » мы можем контролировать, как эта информация обновляется. Мы можем установить определенный период времени для обновления или обновления, когда мы открываем книгу в следующий раз, или для обновления в фоновом режиме, или любую их комбинацию. Как только мы выберем то, что нам нужно, нажмите OK , чтобы закрыть окно и продолжить.

Вот и все! Теперь вы можете отслеживать цены на акции, спортивные результаты и любые другие данные, которые часто меняются, из электронной таблицы Excel^{(Excel spreadsheet)} . Если вы хорошо разбираетесь в уравнениях и функциях Excel , вы можете делать с данными практически все, что захотите.

Может быть, вы попытаетесь определить тренды акций, запустите фэнтезийный спортивный бассейн на работе или, может быть, просто следите за погодой. Кто знает? Ваше воображение и данные, доступные в Интернете^(Internet) , являются единственными ограничениями.

Use Excel as a Tool to Copy Data from the Web

Web scraping is the act of extracting dаta, informatiоn, or imаges from a website using an autоmated method. Think of it as cоpy and paste on full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• Используйте новую функцию Excel Mobile «Вставить данные из изображения»

• Используйте функции суммирования для суммирования данных в Excel

• Используйте Excel, чтобы определить эффективную процентную ставку по номинальной процентной ставке

• График ваших данных Excel

• Как фильтровать данные в Excel

• Как использовать функции автоматического восстановления и резервного копирования Excel

• Используйте Format Painter в Word для копирования и вставки форматирования

• Автоподбор ширины столбцов и высоты строк в Excel

• Как вычитать даты в Excel

• Используйте окно наблюдения Excel для мониторинга важных ячеек в книге

• Вставить лист Excel в документ Word

• Как настроить и использовать формат MLA в Microsoft Word

• 40 лучших сочетаний клавиш Microsoft Excel

• Как Create Labels в Word от Excel Spreadsheet

• Как найти совпадающие значения в Excel

• Как создать Drop Down List в Excel

• Как скрыть листы, ячейки, столбцы и формулы в Excel

• Как рассчитать Variance в Excel

• Как создавать и использовать формулы в таблицах в Word

• Как сделать простой график или диаграмму в Excel