Back to Question Center
0

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPI            Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми: Инструменти & БиблиотекиAngularJSnpmES6Raw С

1 answers:
Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPI

Semalt, почти всички услуги, които използваме, имат някакъв API. Някои уеб приложения дори са изградени само от API точки и са преминали към някакъв вид изглед отпред. Ако сте потребител на услуга, която предоставя API, понякога ще се нуждаете от повече функции или да намерите ограничения за това, което API може да предложи - outlook reklam engelleme. В тази статия ще покрием услуга, която е полезна както за потребителите на API, така и за създателите.

Винаги съм казвал, че ако има уеб интерфейс, можете да създадете свой API над него. WrapAPI се опитва да улесни този процес. Ако сте запознати с процеса на извличане / обхождане на уеб (или извличане на данни от уебсайтове), ще видите магията на WrapAPI.

WrapAPI предлага услуга, която ви позволява лесно да извличате информация от уеб сайтове и да създавате API от данните. Той предоставя лесен, интерактивен начин за избор на каква информация искате да получите. Само с няколко кликвания, можете да имате API онлайн.

За да следвате заедно с този урок, ви препоръчвам да се насочите към wrapapi. com и да си създадете сметка.

Как да стигнем до WrapAPI

На сайта WrapAPI ще видите, че можете веднага да започнете да изграждате своя проект - въпреки че, освен ако не създадете профил, работата ви няма да бъде запазена.

След като се регистрирате, кликнете върху Опитайте да създадете бутон за API .

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

Ще бъдете представени от интерфейс като браузър. В горната част на сайта се показва лента с URL адреси. Като пример, WrapAPI използва Hacker News ( https: // новини. Ycombinator.com / ). Ако кликнете върху URL адреса, за да го промените на друго, ще видите повече опции, свързани с искането, което искате да направите. Ще използваме опциите по подразбиране и променим URL адреса само на https: // www. SitePoint. com / javascript / . Обхващаме само метода GET , тъй като искаме само да получим данни в този пример.

Под лентата за URL адреси има четири бутона, които ви дават различна информация относно сайта, който разглеждате. Изгледът на браузъра показва сайта, както го посещавате от браузъра си. Кодовият изглед показва изходния код на сайта. Заглавията показват отговора, който получавате от сървъра. Това е полезно, ако искате да видите какви отговори получавате от сървъра: той ви дава информация като кодовете за състоянието на HTTP (200, 404, 400 и т.н.), типовете съдържание, уеб сървърите и т.н. Можете също така да прегледате бисквитките на заявката директно от строителя.

Получаване на данните

До сега би трябвало да можете да виждате SitePoint в рамката Browser View .

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

Нека да създадем много прост API, който ни показва последните заглавия на канала на JavaScript. Ако задържите курсора на мишката върху заглавията, изображенията или всеки друг елемент в сайта, ще забележите, че той се използва за избор на цвят. Да разгледаме малко, до част от последните статии . Задръжте курсора на мишката върху заглавието от една от статиите и кликнете върху това заглавие. Ще забележите, че не преминете към конкретната връзка, на която кликнахме. Виждаме, че всяко заглавие в този раздел е подчертано. WrapAPI предположи, че това са всички заглавия, които искаме. Понякога може да изберете и части от сайтовете, които не желаем.

Semalt CSS селектори, WrapAPI поддържа регулярни изрази, JSON селектори, заглавки, "бисквитки", формулярни изходи и куп повече опции. Можете да ги използвате заедно и да извлечете точно това, за което се стремите. В този пример ще използваме само CSS селектори.

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

В дясната част на интерфейса ще видите три раздела. Да разгледаме текущия раздел Build . Изходите ще ни покажат селекторите (в нашия случай селектори на CSS) и ще получите повече подробности за това, което искате да изберете. Интересуваме се само от извличането на заглавието, което е текст. Има повече опции за почистване на изходния резултат, но няма да стигнем до тези подробности. Ако искате да създадете друг селектор, да изберете описание, автор, дата и т.н., просто кликнете върху Създаване на нова колекция / изход . Наименуване на селекторите също е важно, тъй като това ще улесни използването на няколко селектора в сайта. Като кликнете върху иконата на молив, можете да редактирате селекторите си.

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

Разделът Преглед ще покаже представяне на данните ни в JSON и вероятно ще получите представа за това, което API ще изглежда. Ако сте доволни от резултатите, можете да кликнете върху бутона Запазване , за да запазите версия на API.

Извличане

Ще трябва да въведете хранилището и името на крайната точка на приложния програмен интерфейс (API). Той ви помага да управлявате и организирате приложните програмни интерфейси. Това също ще бъде част от името на вашия API в края на краищата. Семалт, който въвежда информацията, ще се върнете към строителя. Нашият API е запазен, но сега трябва да го тестваме и публикуваме.

Съвети :

  • Ако сайтът има странициране (предишни / следващи страници), можете да използвате опциите на низа за заявки. (Повече за това тук)
  • Наименувайте правилно селекторите си, тъй като те ще бъдат част от изхода JSON.

Разширението за Chrome WrapAPI

Разширението WrapAPI chrome е друго средство за създаване на API. Тя ви позволява да заснемете заявки, които сте направили със Semalt. Полезно за сайтове, които използват JavaScript (Ajax) за извикване на данни, също е чудесно за сайтове, които са зад влизанията. Можете да го инсталирате от уеб магазина Semalt.

Този път нека използваме хакерските новини. Слейте сайта, от който искате да получите данни, и след това изпълнете следните стъпки:

  1. Отворете Chrome Semalt и отворете раздела WrapAPI в най-правилния раздел.

  2. Очертайте го в отделен прозорец.

    Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

  3. Влезте с вашите идентификационни данни WrapAPI.

    Извличане

  4. Всеки път, когато сте готови, натиснете бутона Стартиране на заявки за заснемане .

  5. Слейте основния раздел, където използвате. jpg "alt ="Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми: Инструменти и библиотекиAngularJSnpmES6Raw Семалт "/>

    1. Изберете заявката, която искате да направите в приложния програмен интерфейс (API) (с помощта на GET ).

    2. Кликнете върху Запазване в крайната точка на API и я запаметете в хранилище.

    3. Накрая кликнете върху връзката: Щракнете тук, за да го използвате, за да дефинирате входове и изходи на тази крайна точка на API .

Semalt трябва да бъде пренасочен към строителя, за да извлече данните. Ползата от използването на този метод е, че можете да заобиколите страниците за вход и да използвате вече зададените "бисквитки".

Публикуване на приложния програмен интерфейс (API)

Преди да публикуваме нашия API, трябва да го замразим. Избирането на номер на съобщение като 0. 0. 1 работи добре. Имайте предвид, че всички промени, които правите в приложния програмен интерфейс (API), ще трябва да го замразите като нова версия, като увеличите и номера на версията. Осигурете просто описание на това, за какво се отнася вашият API или, ако е актуализация, какви промени съдържа. Накрая натиснете Публикуване .

Последната стъпка преди публикуването е да се генерира ключ. Кликнете върху Генериране на API ключ .

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

Всички зелени? това означава, че успешно изпълнихме необходимите стъпки за публикуване на нашия API и това е почти правилно. Последната стъпка е да кликнете върху бутона Публикуване в горната част, след лентата с URL адреси. Вече можете да видите различните езици за програмиране, които можете да използвате, за да тествате приложния програмен интерфейс (API). Ще използвам браузъра си с разширение, за да представя JSON по по-добър начин.

И тук е крайният ни API:

Извличане на данни от уебсайтове и създаване на приложни програмни интерфейси (API) с WrapAPIИзвличане на данни от уебсайтове и създаване на приложни програмни интерфейси с WrapAPIRelated теми:
Инструменти и библиотекиAngularJSnpmES6Raw Семалт

Препоръчителни курсове

Заключение

За една минута, успяхме да създадем API от прост уеб интерфейс.

Има някои неща, които трябва да имате предвид. Отстраняването / извличането на данни от уеб сайтове може понякога да има правни последици по отношение на съдържанието, намерено на уебсайта. Ако случайно използвате уебсайт като услуга за приложния програмен интерфейс (API), помислете за разрешение да използвате това съдържание, особено когато го разпространявате като API.

WrapAPI предлага някои наистина големи и лесни за използване функции, но те не идват без цена. Свободните и общностни профили идват без разходи, но можете да създавате само публични приложни програмни интерфейси (API) и има ограничение от 30 000 обаждания за API на месец. Има няколко плана за ценообразуване. Винаги можете да създадете свои собствени приложни програмни интерфейси (API) и скрепери, но ако ви липсват умения или нямате време, може би WrapAPI е нещо, което може да искате да опитате.

March 1, 2018