С каждым годом растет потребность в данных для создания различных предсказательных и поведенческих моделей, включая агентно-ориентированное моделирование (АОМ). Для построения когнетивных и сложных моделей, связанных с поведением агентов, необходимо применять как можно более точную базу знаний об этих агентах, зачастую среднестатистические данные из официальных источников остаются недостаточными при построении поведения агентов и их тонкой настройкой. Примером здесь может служить такое поведение, когда заданный агент уже обладает разумом и может строить оптимизационные задачи, руководствуясь не только экономической выгодой, но и чувствами. Именно такие данные можно получить благодаря инструменту- скрапингу. Однако, пока не существует законодательной базы, по которой можно разрешить или запретить использовать эти данные в науке. Помимо этого, большие корпорации, такие как Apple, Google, Яндекс используют пользовательские данные внутри корпораций, юридически это закреплено пользовательским соглашением. Одновременно усложняется законодательное регулирование и техническая реализация одного из наиболее распространенных методов сбора открытых данных — веб-скрапинга (далее-скрапинга). В данной работе рассматриваются критерии применимости 1 2 метода скрапинга для сбора данных, необходимых для построения АОМ, а также приводятся примеры источников данных и способов их сбора.
Идентификаторы и классификаторы
Метод скрапинга открытых данных позволяет быстро и эффективно собирать информацию из различных источников, таких как веб-сайты, социальные сети и публичные базы данных. Это способствует формированию обширных и актуальных наборов данных, необходимых для обучения моделей искусственного интеллекта и проведения агентно-ориентированного моделирования. Однако при использовании скрапинга необходимо учитывать правовые и этические аспекты, связанные с использованием данных, включая вопросы конфиденциальности и соблюдения авторских прав. Кроме того, собранные данные часто требуют предварительной обработки и структурирования, чтобы обеспечить их качество и пригодность для анализа. Таким образом, скрапинг открытых данных становится ключевым инструментом в современном мире, позволяя организациям и исследователям извлекать ценные сведения из большого объема информации и применять их для инноваций и принятия обоснованных решений.
Список литературы
1. Дятлова Е.В., Янгличева Ю.Р. Парсинг и закон // Вестник экономики, права и социологии. 2022, № 2. С. 49-52. EDN: ITDYUM
2. Макаров В.Л., Бахтизин А.Р., Эпштейн Дж. Агент-ориентированное моделирование для сложного мира. Центральный экономико-математический институт РАН. - Москва: ООО “МАКС Пресс”, 2022. 88 с. ISBN: 978-5-317-06764-9 EDN: BHWTOH
3. Макаров В.Л., Бахтизин А.Р., Сушко Е.Д. [и др.]. Суперкомпьютерные технологии в общественных науках - Москва: Федеральное государственное бюджетное образовательное учреждение высшего образования “Государственный академический университет гуманитарных наук”, 2022. 387 с. DOI: 10.18254/978-5-604-80427-8 ISBN: 978-5-6048042-7-8 EDN: BBMXVH
4. Сушко Е.Д. “Агент-ориентированное моделирование и имитация поведения человека с учетом памяти” доклад на конференции Дискуссионная панель “Моделирование искусственных сообществ: доказательный подход к принятию решений о реализации больших проектов” 47-ое заседание международной научной конференции-Школы-семинара “Системное моделирование социально-экономических процессов” // URL: https://www.smsep.ru/2024/main.
5. Федеральный закон от 27.07.2006 №149-ФЗ “Об информации, информационных технологиях и о защите информации” // URL: https://www.consultant.ru/document/cons_doc_LAW_61798.
6. Ozon запустил сервис аналитики продаж для внешнего рынка // URL: https://www.forbes.ru/tekhnologii/497555-ozon-zapustil-servis-analitiki-prodaz-dla-vnesnego-rynka.
7. Bianchi T. “Global share of human and bot web traffic 2013-2023”. Statista, 10 Apr. 2024 // URL: https://www.statista.com/statistics/1264226/human-and-bot-web-traffic-share/.
8. iQ Labs, Inc v. LinkedIn Corporation, “US Ninth Circuit on Scraping Public Data”, *The Register*, 2024. // URL: https://www.theregister.com.
9. Leerssen P., Heldt A.P., Kettemann M.C. “Scraping By? Europe’s law and policy on social media research access”, in *Challenges and Perspectives of Hate Speech Research*, Eds. Berlin, Germany: Digital Communication Research, 2023, pp. 405-425.
10. Makarov V.L., Bakhtizin A.R., Sushko E.D., Sushko G.B. “Creation of a Supercomputer Simulation of Society with Active Agents of Different Types and Its Testing”, Central Economic and Mathematical Institute of the Russian Academy of Sciences, Moscow, Russia, , , Jun. 2021, revised Jun. 2021, accepted Sep. 2021. DOI: 10.31857/S0869587322050115 EDN: OTVZYC
11. Paudel R., Ligmann-Zielinska A. “Data Extraction Approach for Empirical Agent-Based Model Development”, *Encyclopedia* // URL: https://encyclopedia.pub/entry/49786.
12. Perez S. “Meta drops lawsuit against web-scraping firm Bright Data that sold millions of Instagram records”, *TechCrunch* // URL: https://techcrunch.com.
13. Regulation (EU) 2022/2065 of the European Parliament and of the Council of 19 October 2022 on a Single Market for Digital Services and amending Directive 2000/31/EC // URL: http://data.europa.eu/eli/reg/2022/2065/oj.
14. Sales Tech Startup Apollo.io Reaches 1.6BValuationAfter100M Series D // URL: https://news.crunchbase.com/sales-marketing/apollo-io-funding-sales-tech-unicorn.
15. Skiera B., Miller K., Jin Y., Kraft L., Laub R., Schmitt J. The impact of the GDPR on the online advertising market. 2022, Frankfurt am Main. OCLC 1303894344. ISBN: 978-3-9824173-0-1
16. Twitter was once an indispensable resource for academic research. That’s changed under Elon Musk. // URL: https://www.theverge.com/2023/5/31/23739084/twitter-elon-musk-api-policy-chilling-academic-research.
17. Vinogradov E., Leick B., Kivedal B.K. An agent-based modelling approach to housing market regulations and Airbnb-induced tourism // Tourism Management. 2020, vol. 77. p. 104004. DOI: 10.1016/j.tourman.2019.104004 EDN: KUHVMM
Выпуск
Другие статьи выпуска
Статья посвящена исследованию роли внешней среды в формировании индивидуальных жизненных траекторий агентов в искусственных обществах. Метод исследования: контент-анализ научных публикаций по проблемам агент-ориентированного моделирования внешней среды и обобщение собственного опыта компьютерной имитации демографических процессов. В работе раскрываются сущность внешней среды и её основные функции, обсуждаются подходы к имитации среды жизнедеятельности агентов в демографических моделях и её структурные особенности, описывается личный опыт авторов по моделированию компонентов внешней среды, влияющих на поведение агентов-людей в агент-ориентированной демографической модели Дальнего Востока.
Механизм эмиссионного долларового получения прибылей быстро теряет эффективность. Доходная база сжимается, перераспределение вызывает недовольство исключаемых, отодвигаемых от кормушки становится все больше. Это приводит к невозможности договориться между элитными группами США. В статье анализируется комплекс проблемных ситуаций, наблюдающийся в политико-экономической системе США в условиях выборов нового президента США. Разработана модель геостратегической многоходовки выборов президента США в 2024 г. и их последствий. Кратко сформулированы основные блоки нацеленности американской политики, которую в силу объективной необходимости удержания политической системы США в управляемом контуре вынужден будет реализовать Д. Трамп в случае занятия поста президента США. Приведены характеристики новой стратегической конфигурации экономических и политических факторов, определяющих динамику международных отношений США и Российской Федерации. Предлагаются направления исследования проблем готовности экономического комплекса Союзного государства России и Белоруссии к условиям чрезвычайных ситуаций и особого периода.
В данной статье предлагается нечеткий метод распознавания образов (FPRM), разработанная для оценки уровня Индекса Зеленого Роста (GGI) Азербайджана, который является одним из основных Целей Устойчивого Развития. Глобальный Институт Зеленого Роста (GGGI) использует для этой цели метод геометрического среднего в качестве общего расчета GGI. Предложенный метод FPRM учитывает присущую неопределенность и нечеткость показателей GGI, в которой используя методы нечеткой логики, повышает точность и надежность оценки GGI. Предложенный подход продвигает работы в текущем направлении с разработанным методом процесса распознавания нечетких образов и алгоритмом. Результаты вычислений демонстрируют эффективность модели FPRM в оценке уровней GGI для Азербайджана. Исследование способствует развитию исследований в области зеленого роста и содействует принятию решений на основе фактических данных для устойчивого развития, предоставляя структурированную методологию для оценки и улучшения GGI.
Мировое потребление пресной воды неуклонно растет. Каждый год человечество расходует около 4,3 триллионов кубометров воды. Дефицит водных ресурсов является проблемой мирового масштаба, затрагивающей миллиарды людей и угрожая устойчивому развитию государств. В условиях климатических изменений, быстрого роста населения и неэффективного использования природных богатств, чистая вода становится не только ограниченным ресурсом, но и источником социальных конфликтов. Большая часть стран Средней Азии решают проблемы с нехваткой воды с помощью различных методов: от применения новейших способов орошения в сельском хозяйстве до создания компьютерных моделей, помогающих производить анализ водных запасов и составлять прогнозы водопотребления. Оптимизация водопользования, внедрение инновационных технологий водоснабжения и очистки сточных вод становятся необходимыми мерами для решения проблемы истощения водных ресурсов. Устойчивые практики сельского хозяйства, такие как капельное орошение, могут существенно сократить потребление воды, в то время как просвещение населения относительно бережливого использования данного ресурса поможет становлению культуры водопотребления. Международное сотрудничество также играет ключевую роль в управлении водными ресурсами. Обмен опытом, совместные проекты и программы могут способствовать созданию устойчивых систем водоснабжения. В статье приведен анализ текущей ситуации, которая касается мирового водопользования с уклоном в сторону Азиатских стран, в частности, Узбекистана. Также проведен комплексный анализ, демонстрирующий инновационные технологии и передовые методики, такие как AOP, ZLD, Geobank, Datamine и цифровые двойники созданные для повышения эффективности водопользования и минимизации пагубного воздействия на окружающую среду. Эти решения позволяют улучшить мониторинг и контроль водных ресурсов, обеспечивая баланс между экономическим развитием и экологической ответственностью.
Статья посвящена применению методов машинного обучения при прогнозировании формирования перспективных секторов экономики нового поколения. В условиях современных цифровых трансформаций показано, что замена традиционной существующей экономики на экономические модели нового поколения является одним из приоритетных направлений развития в мире. Обоснована актуальность применения методов машинного обучения (МО), одной из технологий искусственного интеллекта (ИИ), в совершенствовании процессов формирования и развития традиционных секторов экономики, а также в прогнозировании ее перспективных секторов нового поколения. Проведен анализ научных исследований, посвященных проблеме. Цифровая трансформация и технологии, устойчивость и экологичность, экологизация технологий и цикличность, совместное использование, интеллектуальное принятие решений и управление, платформы и экосистемы, инновационное предпринимательство, исследования и экономическое развитие, инклюзивность и социальное развитие, платформенные технологии Индустрии 5.0 формирования технологической экономики нового поколения. Разработаны основные базовые принципы, такие как переход и т. д., проанализированы проблемы ее формирования. Изложены 1 2 особенности и перспективы применения методов машинного обучения при прогнозировании перспективных отраслей экономики нового поколения. Изложены классификационные признаки методов машинного обучения и показаны его модели. Разработана структурная схема этапов прогнозирования развития экономики и предоставлены сведения о ее методах. Проведен сравнительный анализ методов машинного обучения, применяемых при прогнозировании. Разработана структурная схема этапов применения метода машинного обучения в процессе прогнозирования. Даны актуальные рекомендации по применению технологий платформы «Индустрия 4.0» для прогнозирования формирования перспективных отраслей экономики нового поколения на основе реальных данных.
В статье рассматриваются концептуальные основы формирования экосистемы азербайджанского языка в электронном правительстве. Цифровая эпоха, характеризующаяся развитием технологий и преимуществами Интернета, ставит под угрозу сохранение языкового разнообразия. Технологические революции, катастрофы, пандемии, войны и быстрые изменения демографической ситуации в мире приводят к разрушению языковых экосистем и исчезновению языкового разнообразия. В связи с этим защита языкового разнообразия стала одним из актуальных вопросов в стремительно глобализирующемся мире под влиянием информационных технологий. Поэтому защита азербайджанского языка и развитие различных языковых сервисов на платформе электронного правительства является одним из актуальных вопросов. Необходимо разработать интеллектуальные методы, алгоритмы и приложения, чтобы сделать национальные языки неотъемлемой частью электронного правительства и обеспечить естественное развитие этой платформы на всех 1 2 сегментах. В статье рассматриваются подходы, взгляды и инициативы, связанные с влиянием глобализации на лингвокультурное пространство и языковые процессы. Проанализированы воздействия на языки народов мира в цифровую эпоху и инновации, вызванные цифровизацией, проведен обзор соответствующих работ, указаны проблемы азербайджанского языка в онлайн-среде. Изучены вопросы сохранения языкового разнообразия и применения лингвистических технологий в электронном правительстве. Исследование показывает необходимость создания различных языковых сервисов для формирования экосистемы азербайджанского языка. В статье предложены подходы относительно формирования экосистемы азербайджанского языка на платформе электронного правительства и указаны сложные вопросы, которые необходимо решить путем применения лингвистических технологий.
Социально-экономико-экологическое развитие страны свидетельствует о целесообразности нового качественного подхода к решению сложившихся проблем в мировом экономическом развитии. Новое качество - это новая модель экономического роста и развития с учетом экологических проблем, так как ныне активизировались вопросы охраны природы. При этом рост означает увеличение масштабов производства товаров и услуг, а развитие - это улучшение условий и технологий для этого производства для развития «зеленой» экономики в условиях усиления суверенитета стран и роста внутреннего спроса. Экономическая теория должна определить приоритеты экономической политики, так как структурным особенностям хозяйственной системы ныне уделяется большее внимание. Важно выявить структурные особенности формирующейся синтетической теории, опирающейся на концепцию равновесности и концепцию институционально-исторической школы. Важно обращение к реальной практике и поиск не корреляции между имеющимися данными, а именно причинно-следственная связь. Осуществить переход государства к экономическому типу, что связано в первую очередь с необходимостью интенсификации и повышения эффективности отечественной экономики, росту цифровизации и созданию основ инклюзивного роста. Рост не ради роста, а рост с целью обеспечения устойчивого и качественного развития страны, снижающей зависимость страны и повышающей сложность экономической структуры. В нынешних условиях возросла экологическая значимость, что является одним из основных составляющих новой модели экономического роста и развития, способствующая переходу на более диверсифицированную структуру.
Статистика статьи
Статистика просмотров за 2025 год.
Издательство
- Издательство
- ГАУГН
- Регион
- Россия, Москва
- Почтовый адрес
- 119049, г Москва, р-н Якиманка, Мароновский пер, д 26
- Юр. адрес
- 119049, г Москва, р-н Якиманка, Мароновский пер, д 26
- ФИО
- Промыслов Николай Владимирович (ИСПОЛНЯЮЩИЙ ОБЯЗАННОСТИ РЕКТОРА)
- Контактный телефон
- +7 (___) _______