VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY DENVER BANLASAN PUBLIC OPINION ANALYSIS FOR MANAGEMENT OF URBAN INFRASTRUCTURE SYSTEMS: SOCIAL MEDIA DATA MINING APPROACH Major: CONSTRUCTION MANAGEMENT Major code: 8580302 MASTER’S THESIS HO CHI MINH CITY, August 2021 i THIS RESEARCH IS COMPLETED AT: HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY – VNU-HCM Instructor 1: Dr. Chu Viet Cuong Instructor 2: Dr. Do Tien Sy Examiner 1: Assoc. Tran Duc Hoc Examiner 2: Dr.
Nguyen Hoai Nghia The master thesis is defended at Ho Chi Minh city University of Technology (HCMUT), VNU-HCM on Google Meet on August 07th, 2021. The board of the Master’s Thesis Defense Council includes: 1. Luong Duc Long Chairman. Dang Ngoc Chau.
Pham Vu Hong Son. Tran Duc Hoc. Nguyen Hoai Nghia. Reviewer 2 Verification of the Chairman of the Master’s Thesis Defense Council and the Dean of faculty of Civil Engineering after the thesis being corrected (If any).
CHAIRMAN OF THE COUNCIL DEAN OF FACULTY OF CIVIL ENGINEERING Assoc. Le Anh Tuan ii VIETNAM NATIONAL UNIVERSITY HO SOCIALIST REPUBLIC OF VIETNAM CHI MINH CITY Independence – Freedom - Happiness HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY THE TASK SHEET OF MASTER’S THESIS Full name: Denver Banlasan Student code: 1970354 Date of birth: 22/02/1994 Place of birth: Manila, Philippines Major: Construction Management Major code: 858032 I. THESIS TOPIC: Public Opinion Analysis for Management of Urban Infrastructure Systems: Social Media Data Mining Approach II. TASKS AND CONTENTS: III.
TASKS STARTING DATE: July, 2020 IV. TASKS ENDING DATE: July, 2021 V. Chu Viet Cuong and Dr. Do Tien Sy Ho Chi Minh City, July, 2021 INSTRUCTOR 1 INSTRUCTOR 2 Dr.
Chu Viet Cuong Dr. Do Tien Sy HEAD OF DEPARTMENT Dr. Le Hoai Long DEAN OF FACULTY OF CIVIL ENGINEERING Assoc. Le Anh Tuan iii ACKNOWLEDGEMENT I would like to express my sincerest gratitude to all entities, organizations, and people who helped me achieved what I have achieved in the completion of this research.
All this work would not have been possible if it were not for their contributions. Firstly, I am grateful to my thesis supervisors, Dr. Chu Viet Cuong and Dr. Do Tien Sy, along with Dr.
Nguyen Thanh Viet, for all the learnings, invaluable advice, and unparalleled guidance they have given me throughout this journey. If I had grown and reached further, not only in the completion of this thesis, but also in my academics, it is by standing on their shoulders. I would like to thank the Japan International Cooperation Agency Project for ASEAN University Network / Southeast Asia Engineering Education Development Network (JICA Project for AUN/SEED-Net) for giving me the very rare opportunity of pursuing my post- graduate studies in Ho Chi Minh City University of Technology under the scholarship grant of Collaborative Education Program (CEP). Their financial support also laid foundation for the completion of this research, and for that I am grateful beyond words.
Gratitude is also in order for all members of HCMUT, the faculty of Construction Engineering and Management, and the Office of International Studies Program for serving as strong pillars of my whole academic endeavor in this institution. To all of the contributors in this research: Mr. Huynh Dao and Mr. Charles Lee for the technical guidance on execution of my methodology, to all of the government and private agencies and their representatives for granting me information and permission to conduct interviews, and to everyone else on the sidelines.
I am immeasurably grateful for all of your contributions. Lastly, I am very grateful for my family and to all of my friends who stood by me throughout this journey, especially at these difficult times. You are all appreciated and loved. I share this triumph with all of you.
iv SUMMARY OF MASTER’S THESIS Adequate, reliable, and efficient urban infrastructure systems are fundamental to sustainable development, social mobility, and economic vitality. As communities continuously rely on basic infrastructure services to support their daily communal functions, major components of urban infrastructure systems are subject to heavy use, and thus rapidly deteriorate over time; hence, it is critical that efficient infrastructure management strategies practices are in place. As current strategies remain confronted with various limitations including adaptability to changing conditions, lack of public engagement, and cost-effectiveness, this study explores social media data mining as an approach to revitalize and support current urban infrastructure monitoring strategies by extracting valuable insights from public opinion. Twitter messages or “Tweets” pertaining to public infrastructure in The Philippines were collected and analyzed to identify recurring issues in public infrastructure, emerging topics in public discussions, and the overall perception of the public on infrastructure services.
This study presents a topic model that extracts dominant topics from aggregated social media data and a sentiment analysis model that determines public opinion sentiment in relation to different urban infrastructure components. Additionally, an event analysis approach is explored to draw insights from the dynamic and evolving nature of public opinion. The benefits and limitations of the approach are also assessed from the perspective of industry experts in the field, where responses are indicative that while social media data mining may be beneficial for urban infrastructure management, especially in evaluating stakeholders’ opinion, several limitations and vulnerabilities that serve as barriers to its adoption remain. The findings of this study highlight the potential of social media data mining to surpass the limits of conventional data collection techniques and the importance of public opinion as a key driver for a more user-involved decision making in infrastructure management and as an important social aspect that can be utilized to support planning and response strategies in routine maintenance, preservation, and improvement of urban infrastructure systems.
Keywords: data mining, public opinion, social media, stakeholder management, urban infrastructure v TÓM TẮT LUẬN VĂN THẠC SĨ Hệ thống cơ sở hạ tầng đô thị đầy đủ, đáng tin cậy và hiệu quả là nền tảng cho sự phát triển bền vững, tính di động xã hội và sức sống kinh tế. Người dân liên tục dựa vào các dịch vụ cơ sở hạ tầng cơ bản để hỗ trợ các chức năng cộng đồng hàng ngày, các thành phần chính của hệ thống cơ sở hạ tầng đô thị được sử dụng nhiều và do đó nhanh chóng xuống cấp theo thời gian. Vì thế, các chiến lược quản lý cơ sở hạ tầng nhất định phải được áp dụng một cách hiệu quả. Các chiến lược hiện tại vướng phải nhiều hạn chế bao gồm khả năng thích ứng với các điều kiện thay đổi, thiếu sự tham gia của cộng đồng và thiếu hiệu quả về chi phí.
Nên nghiên cứu này khám phá việc khai thác dữ liệu truyền thông xã hội như một cách tiếp cận để hồi sinh và hỗ trợ các chiến lược giám sát cơ sở hạ tầng đô thị hiện nay bằng cách rút ra những cái nhìn sâu sắc có giá trị từ dư luận. Các thông điệp Twitter hoặc “Tweet” liên quan đến cơ sở hạ tầng công cộng ở Philippines đã được thu thập và phân tích để xác định các vấn đề lặp lại trong cơ sở hạ tầng công cộng, các chủ đề mới nổi trong các cuộc thảo luận công khai và nhận thức chung của cộng đồng về các dịch vụ cơ sở hạ tầng. Nghiên cứu này trình bày một mô hình chủ đề được chiết xuất từ các chủ đề chính từ dữ liệu truyền thông xã hội tổng hợp và một mô hình phân tích cảm xúc xác định tâm lý dư luận trong mối quan hệ với các thành phần cơ sở hạ tầng đô thị khác nhau. Ngoài ra, phương pháp tiếp cận phân tích sự việc được khám phá để rút ra những cái nhìn sâu sắc từ bản chất năng động và phát triển của dư luận xã hội.
Những lợi ích và hạn chế của cách tiếp cận cũng được đánh giá từ quan điểm của các chuyên gia trong lĩnh vực này.Thông qua các phản hồi, cho thấy rằng trong khi khai thác dữ liệu trên mạng xã hội có thể có lợi cho quản lý cơ sở hạ tầng đô thị, đặc biệt là trong việc đánh giá ý kiến của các bên liên quan, thì một số hạn chế và lỗ hổng vẫn là rào cản khi áp dụng. Những phát hiện của nghiên cứu này nhấn mạnh tiềm năng của việc khai thác dữ liệu trên mạng xã hội để vượt qua giới hạn của các kỹ thuật thu thập dữ liệu thông thường và tầm quan trọng của dư luận như yếu tố chính để người dùng tham gia vào việc ra quyết định trong quản lý cơ sở hạ tầng nhiều hơn và như một khía cạnh quan trọng của xã hội mà có thể được sử dụng để hỗ trợ các chiến lược lập kế hoạch và ứng phó trong việc bảo trì, bảo quản và cải thiện thường xuyên hệ thống cơ sở hạ tầng đô thị. Từ khóa: khai thác dữ liệu, dư luận, truyền thông xã hội, quản lý các bên liên quan, cơ sở hạ tầng đô thị vi AUTHOR’S COMMITMENT The undersigned below: Name : Denver Banlasan Student ID : 1970354 Place and date of born : Manila, Philippines, February 22, 1994 Address : Ho Chi Minh City With this declaring that the master thesis entitled “Public Opinion Analysis for Management of Urban Infrastructure Systems: Social Media Data Mining Approach” is done by the author under supervision of the supervisor. All works, idea, and material that was gained from other references have been cited in the correct way.
Ho Chi Minh City, July 9, 2021 Denver Banlasan vii TABLE OF CONTENTS CHAPTER I – INTRODUCTION. BACKGROUND OF THE STUDY. STATEMENT OF THE PROBLEM. SCOPE AND LIMITATIONS OF THE STUDY.
SIGNIFICANCE OF THE STUDY .5 CHAPTER II – LITERATURE REVIEW. URBAN INFRASTRUCTURE MANAGEMENT. PUBLIC ENGAGEMENT IN URBAN INFRASTRUCTURE SYSTEMS .14 CHAPTER III – RESEARCH METHODOLOGY .19 CHAPTER IV – RESULTS AND DISCUSSIONS. TOPIC MODELING – LATENT DIRICHLET ALLOCATION.
BENEFITS AND BARRIERS TO ADOPTION .45 CHAPTER V – CONCLUSIONS AND RECOMMENDATIONS. RECOMMENDATIONS FOR STAKEHOLDERS. RECOMMENDATIONS FOR FUTURE RESEARCH .66 viii LIST OF FIGURES Figure 1. Infrastructure management event chain.
Adapted from Guillaumot et al. Infrastructure asset management framework. Reprinted from Flintsch & Chen (2004). Route reconnaissance trial results using MICA.
Reprinted from Walker et al. Relating smartphone and vehicle angular movements. Reprinted from Kyriakou et al. Illustrative framework of "The Citizen Engineer".
Reprinted from Harris et al. User interface of Chiba-repo. Reprinted from Seto & Sekimoto (2019). Wordcloud Visualizations for Tweets collected from the public.
Wordcloud Visualizations of Tweets collected from the authorities. Event Analysis of Topics Extracted for Water Supply, Sewerage, and Sanitation.38 ix LIST OF TABLES Table 1. Studies in AEC and related fields that utilized social media data. Responsible authorities and their respective Twitter accounts, supplemental keywords, and hashtags that will be used for data collection.
Sample Tweets collected. Topics extracted for Water Supply, Sewerage, and Sanitation.28 Table 5 (a,b) Topics extracted for Transportation.30 Table 6 (a,b) Topics extracted for Roads, Highways, and Bridges .32 Table 7 (a,b) Topics extracted for Urban Space. Public Opinion Sentiment distribution for different UIS Components. Sample Tweets with Negative Sentiment.
Sample Tweets with Positive Sentiment. Background of the Study Adequate, reliable, and efficient urban infrastructure systems (UIS) are fundamental to sustainable development, social mobility, and economic vitality (Sánchez-Silva et al. All members of the society, from individuals to global conglomerates, rely on basic infrastructure services to support their daily communal functions (Harris et al. For this reason, major components of UIS such as roads, light rails, and water supply networks are subject to heavy use throughout their operable life.