Đồ án: Ứng dụng lấy mã hàng, thông tin người mua từ comment Facebook

Đồ án tốt nghiệp CNTT về ứng dụng tự động trích xuất mã hàng, thông tin người mua từ comment Facebook, báo cáo chi tiết về xử lý dữ liệu.

• Tác giả: Triệu Kim Sơn
• Người hướng dẫn: ThS. Đặng Nhân Cách
• Trường học: Trường Đại học Giao thông Vận tải TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát triển ứng dụng tự động lấy mã hàng và thông tin người mua hàng từ comment
• Loại tài liệu: Thực tập tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Khái niệm và ứng dụng tự động trích xuất thông tin từ Comment Facebook

Ứng dụng tự động trích xuất thông tin từ comment Facebook là một giải pháp công nghệ hiện đại giúp các doanh nghiệp và quản lý fanpage tự động lấy dữ liệu từ comment mà không cần phải thực hiện thủ công. Công nghệ này sử dụng Facebook Graph-API, một nền tảng mạnh mẽ do chính Facebook cung cấp cho các nhà phát triển, nhằm trích xuất mã hàng, thông tin người mua hàng, số lượng đặt hàng và các dữ liệu khác từ những bình luận trên các bài viết. Với sự phát triển của công nghệ xử lý dữ liệu tự động, các doanh nghiệp kinh doanh trên Facebook có thể tiết kiệm thời gian và nhân lực đáng kể. Ứng dụng này đặc biệt hữu ích cho các cửa hàng bán hàng trực tuyến, những nơi mà khách hàng thường để lại thông tin mua hàng trong phần bình luận.

1.1. Định nghĩa và tính năng chính

Ứng dụng trích xuất thông tin tự động là một hệ thống phần mềm được phát triển dựa trên ngôn ngữ lập trình như C#, C++ kết hợp với các thư viện Windows Forms. Tính năng chính bao gồm tự động lấy mã hàng, số điện thoại, email, số lượng sản phẩm từ comment Facebook mà không cần can thiệp thủ công. Hệ thống sử dụng thuật toán xử lý ngôn ngữ tự nhiên để phân tích và trích lọc dữ liệu có cấu trúc từ những bình luận không có định dạng.

1.2. Lợi ích trong kinh doanh trực tuyến

Ứng dụng này mang lại nhiều lợi ích thiực tế cho các quản lý fanpage như tăng hiệu suất làm việc, giảm sai sót trong xử lý đơn hàng và tiết kiệm chi phí nhân lực. Khách hàng có thể nhận được phản hồi nhanh chóng, từ đó tăng tỷ lệ chuyển đổi bán hàng và cải thiện trải nghiệm khách hàng. Đặc biệt, ứng dụng hỗ trợ xuất dữ liệu ra file CSV để dễ dàng quản lý và phân tích thống kê.

II. Cơ sở lý thuyết và công nghệ nền tảng

Facebook Graph-API là nền tảng API mạnh mẽ cho phép các nhà phát triển lấy dữ liệu từ Facebook một cách an toàn và hiệu quả. API này cung cấp khả năng truy vấn thông tin từ các fanpage, bài viết và bình luận thông qua các yêu cầu HTTP GET. Để sử dụng Graph-API, nhà phát triển cần có Access Token Facebook, một khóa xác thực đặc biệt được cấp thông qua quy trình OAuth 2.0. Công nghệ này đảm bảo bảo mật dữ liệu người dùng theo các chính sách của Facebook. Quá trình trích xuất dữ liệu bao gồm ba bước chính: lấy dữ liệu comment, tiền xử lý dữ liệu và trích lọc các đặc trưng cần thiết từ nội dung bình luận.

2.1. Facebook Graph API và Access Token

Facebook Graph-API là một nền tảng lập trình giúp kết nối với Facebook một cách hiệu quả. Để sử dụng API này, nhà phát triển cần tạo ứng dụng trong Facebook Developer và lấy Access Token. Token này hoạt động như một mã xác thực, cho phép ứng dụng truy cập dữ liệu trên fanpage mà người dùng đã phê duyệt. Quá trình lấy token tuân theo chuẩn bảo mật OAuth 2.0, đảm bảo rằng chỉ các ứng dụng được phép mới có thể lấy dữ liệu từ fanpage.

2.2. Quy trình xử lý dữ liệu comment

Quá trình xử lý comment tự động bao gồm nhiều bước quan trọng. Đầu tiên, ứng dụng gửi yêu cầu HTTP GET tới Graph-API để lấy dữ liệu comment từ bài viết. Sau đó, tiền xử lý dữ liệu bằng cách loại bỏ các ký tự không cần thiết và chuẩn hóa định dạng. Cuối cùng, ứng dụng sử dụng thuật toán trích lọc đặc trưng để tìm kiếm và trích xuất mã hàng, số điện thoại, email và số lượng từ nội dung bình luận một cách chính xác.

III. Quy trình phát triển và triển khai hệ thống

Phát triển ứng dụng trích xuất thông tin tự động yêu cầu một quy trình làm việc có hệ thống và kỹ lưỡng. Bước đầu tiên là thiết kế cơ sở dữ liệu để lưu trữ thông tin comment và dữ liệu trích xuất. Tiếp theo, các nhà phát triển cần xây dựng module kết nối API để giao tiếp với Facebook Graph-API. Module xử lý dữ liệu sử dụng thuật toán phân tích văn bản để tìm kiếm các thông tin cụ thể. Giao diện người dùng được phát triển bằng Windows Forms, giúp người dùng dễ dàng nhập thông tin fanpage và khởi động quá trình trích xuất. Cuối cùng, ứng dụng hỗ trợ xuất kết quả ra file CSV để tiện lợi trong quản lý dữ liệu.

3.1. Kiến trúc hệ thống và các thành phần

Hệ thống gồm ba thành phần chính: module lấy dữ liệu, module xử lý và module giao diện. Module lấy dữ liệu sử dụng HTTP requests để gọi Facebook Graph-API và lấy comment. Module xử lý áp dụng các thuật toán trích lọc dựa trên biểu thức chính quy để tìm mã hàng, email, số điện thoại. Module giao diện cung cấp dashboard thân thiện giúp người dùng cấu hình và theo dõi quá trình trích xuất dữ liệu.

3.2. Các bước triển khai và kiểm thử

Triển khai hệ thống bao gồm cấu hình ứng dụng Facebook Developer, thiết lập Access Token và kết nối API. Sau đó, tiến hành kiểm thử chức năng để đảm bảo ứng dụng hoạt động chính xác. Kiểm thử hiệu suất được thực hiện với các lượng dữ liệu khác nhau để đảm bảo tốc độ xử lý. Cuối cùng, thực hiện kiểm thử bảo mật để đảm bảo dữ liệu được bảo vệ theo chính sách của Facebook.

IV. Kết quả thách thức và hướng phát triển tương lai

Ứng dụng tự động trích xuất thông tin từ comment Facebook đã chứng minh hiệu quả cao trong các thử nghiệm thực tế. Với khả năng xử lý hàng trăm comment mỗi phút mà không mắc lỗi, ứng dụng đã giúp các quản lý fanpage tiết kiệm thời gian đáng kể. Tuy nhiên, hệ thống vẫn gặp một số thách thức như sự đa dạng trong cách khách hàng viết bình luận và các thay đổi chính sách API của Facebook. Để nâng cao độ chính xác, cần tiếp tục cải thiện thuật toán xử lý ngôn ngữ tự nhiên. Trong tương lai, ứng dụng có thể mở rộng sang các nền tảng khác như Instagram, TikTok hoặc tích hợp trí tuệ nhân tạo để nhận dạng thông tin phức tạp hơn.

4.1. Kết quả đạt được và hiệu suất

Ứng dụng đã thành công trích xuất thông tin từ hơn 90% bình luận với độ chính xác cao. Thời gian xử lý trung bình cho mỗi comment chỉ khoảng 50 milliseconds, giúp xử lý hàng trăm comment trong thời gian ngắn. Dữ liệu được xuất ra file CSV với định dạng rõ ràng, dễ dàng nhập vào các hệ thống quản lý khác. Các kết quả kiểm thử chứng minh rằng ứng dụng hoạt động ổn định và đáng tin cậy.

4.2. Hướng mở rộng và phát triển tiếp theo

Để phát triển ứng dụng tiếp theo, có thể tích hợp machine learning để tự động học các mẫu bình luận mới. Mở rộng hỗ trợ đa ngôn ngữ sẽ giúp ứng dụng phục vụ thị trường rộng hơn. Có thể tích hợp với CRM hoặc hệ thống quản lý bán hàng để tự động cập nhật đơn hàng. Phát triển ứng dụng di động sẽ giúp quản lý fanpage dễ dàng hơn khi di chuyển.

Trích đoạn nội dung tài liệu

chương 1: Giới thiệu động cơ thực hiện cũng như mục tiêu và giới hạn của đề tài nghiên cứu. Những phần còn lại của đề tài được trình bày như sau: • Chương 2: Giới thiệu cơ sở lý thuyết và Facebook Graph-API dùng để thực hiện trong nghiên cứu và phát triển mô hình. • Chương 3: Triển khai hệ thống, hiện thực việc lấy comment từ Graph- API của Facebook và những xử lý dữ liệu lấy về được để hiển thị trên giao diện sau đó xuất ra file CSV. • Chương 4: Cài đặt hệ thống, đánh giá kết quả chạy trên 300 comment và hiệu quả việc xử lý trên những comment lấy được.

• Chương 5: Tổng kết, đánh giá và vạch hướng mở rộng cho tương lai của hệ thống.5 Phương pháp nghiên cứu Sử dụng các lý thuyết trong cuốn sách “Mining the Social Web 3rd Edition”, đồng thời sử dụng các tài liệu về graph API cũng như các công cụ hỗ trợ mà chính Facebook tạo ra để hỗ trợ cho các nhà phát triển. Bên cạnh đó nhóm còn sử dụng một số thư viện hỗ trợ miển phí để lập trình C# như “newtonson”, “regex”,…. 4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu API Giao diện lập trình ứng dụng (tiếng Anh Application Programming Interface, viết tắt API) [1] là một giao diện mà một hệ thống máy tính hay ứng dụng cung cấp để cho phép các yêu cầu dịch vụ có thể được tạo ra từ các chương trình máy tính khác, và/hoặc cho phép dữ liệu có thể được trao đổi qua lại giữa chúng. Chẳng hạn, một chương trình máy tính có thể (và thường là phải) dùng các hàm API của hệ điều hành để xin cấp phát bộ nhớ và truy xuất tập tin.

Nhiều loại hệ thống và ứng dụng thực hiện API, như các hệ thống đồ họa, cơ sở dữ liệu, mạng, dịch vụ web, và ngay cả một số trò chơi máy tính. Đây là phần mềm hệ thống cung cấp đầy đủ các chức năng và các tài nguyên mà các lập trình viên có thể rút ra từ đó để tạo nên các tính năng giao tiếp người- máy như: các trình đơn kéo xuống, tên lệnh, hộp hội thoại, lệnh bàn phím và các cửa sổ. Một trình ứng dụng có thể sử dụng nó để yêu cầu và thi hành các dịch vụ cấp thấp do hệ điều hành của máy tính thực hiện. Hệ giao tiếp lập trình ứng dụng giúp ích rất nhiều cho người sử dụng vì nó cho phép tiết kiệm được nhiều thời gian tìm hiểu các chương trình mới, do đó khích lệ mọi người dùng nhiều ứng dụng hơn.

Nói cách dễ hiểu API là một phần mềm trung gian cho phép hai ứng dụng nói chuyện với nhau. Mỗi khi sử dụng một ứng dụng như Facebook, gửi tin nhắn tức thì hoặc kiểm tra thời tiết trên điện thoại, có nghĩa là bạn đang sử dụng API. Khi sử dụng một ứng dụng trên điện thoại di động, ứng dụng kết nối Internet và gửi dữ liệu tới máy chủ. Sau đó, máy chủ lấy ra dữ liệu đó, diễn giải nó, thực hiện các hành động cần thiết và gửi nó trở lại điện thoại.

Ứng dụng sau đó sẽ diễn giải dữ liệu đó và trình bày thông tin bạn muốn theo cách có thể đọc được. 1: Hoạt động của API Hãy tượng tưởng, trong một nhà hàng, chúng ta là khách hàng gọi món ăn và nhà bếp là một phần “hệ thống” chuẩn bị thực đơn cho chúng ta. Cái còn thiếu ở đây là liên kết quan trọng để truyền đạt yêu cầu của khách hàng tới nhà bếp và chuyển đồ ăn tới bàn cho họ. Liên kết quan trọng này chính là bồi bàn hoặc API.

Người bồi bàn - API là người đưa tin, sẽ nhận yêu cầu gọi món và truyền đạt lại tới nhà bếp - hệ thống. Sau khi thức ăn đã sẵn sàng, bồi bàn sẽ chuyển nó tới khách hàng. Đây là một ví dụ thực tế về API. Chúng ta có thể đã quen thuộc với quá trình tìm kiếm các chuyến bay trực tuyến.

Cũng giống như nhà hàng, bạn có nhiều lựa chọn như các thành phố khác nhau, ngày khởi hành và ngày trở lại, v.v… Hãy tưởng tượng bạn đang đặt vé máy bay trên một trang web của hãng hàng không. Chúng ta có thể chọn địa điểm đến, ngày đi, ngày về, loại vé cũng như rất nhiều lựa chọn khác. Để đặt chuyến bay, bạn cần tương tác với trang web của hãng hàng không để truy cập vào cơ sở dữ liệu của họ và xem ghế còn trống trong một ngày nhất định và giá cả như thế nào. 6 Tuy nhiên, nếu chúng ta không sử dụng trang web của hãng hàng không - một kênh có quyền truy cập trực tiếp vào thông tin thì sao? Điều gì sẽ xảy ra nếu bạn đang sử dụng dịch vụ du lịch trực tuyến, chẳng hạn như Kayak hoặc Expedia, vậy làm thế nào để truy cập vào các cơ dữ liệu của hãng hàng không? Trong trường hợp này, dịch vụ du lịch tương tác với API của hãng hàng không, yêu cầu nó để lấy thông tin từ cơ sở dữ liệu của hãng hàng không.

Sau đó API sẽ chuyển phản hồi của hãng hàng không đến yêu cầu của khách hàng và chuyển nó trở lại dịch vụ du lịch online, hiển thị cho bạn thông tin có liên quan được cập nhật nhanh nhất. Trong những năm qua, API thường được mô tả là giao diện kết nối chung cho một ứng dụng. Tuy nhiên gần đây, API hiện đại có một số đặc điểm làm cho chúng trở nên hữu ích và có giá trị hơn: • Các API hiện đại tuân thủ các tiêu chuẩn (thường là HTTP và REST), có tính dễ sử dụng và dễ hiểu và thân thiện với các nhà phát triển. • API được xử lý giống như sản phẩm hơn là code.

Chúng được thiết kế cho các đối tượng cụ thể (ví dụ: nhà phát triển thiết bị di động). • Vì chúng được chuẩn hóa nhiều hơn, nên tính bảo mật và quản trinh mạnh hơi, cũng như được theo dõi và quản lý hiệu suất, quy mô tốt hơn. • Như bất kỳ phần mềm sản phẩm nào khác, API hiện đại có chu kỳ phát triển phần mềm (SDLC) riêng của nó về thiết kế, thử nghiệm, xây dựng, quản lý.2 Tổng quan về Facebook Facebook [2] là một trong những mạng xã hội lớn nhất thế giới, với hơn 1 tỉ người dùng hoạt động hàng ngày như cập nhật status, đăng bài viết, ảnh, trao đổi tin nhắn, trò chuyện trực tuyến, check in những địa điểm có thật, mua sắm và gần như mọi thứ khác. 7 Đứng từ góc độ lập trình viên Facebook sở hữu khối lượng thông tin khổng lồ về cá nhân, nhóm, sản phẩm và cũng vô cùng thú vị.

Bởi vì Facebook có cho phép người dùng truy cập đến dữ liệu của họ để lấy những thông tin có giá trị ấy bằng cách sử dụng API mà Facebook tạo ra. Tuy nhiên Facebook cũng đưa ra những quy tắc về quyền riêng tư để bảo vệ người dùng của mình khỏi việc bị khai thác thông tin cá nhân. 2: Chính sách mới của Facebook về việc truy vấn bình luận Như vậy, để có thể truy cập được dữ liệu của Facebook, người lập trình, nghiên cứu phải có ít nhất là một tài khoản Facebook vẫn còn đang hoạt động.1 Nền tảng cho nhà phát triển của Facebook Facebook là một nền tảng vô cùng mạnh mẽ, có thể nói đây là nền tảng đầy đủ và được tổ chức tốt nhất về việc lưu trữ thông tin, cả về chiều rộng và chiều sâu. Về chiều rộng, nó rộng ở: lượng người dùng hiện tại của nó chiếm gần 1/4 dân số thế giới và về chiều sâu, nó sâu về số lượng thông tin mà nó có được của bất kì người dùng nào.

Với một lập trình viên, cách duy nhất để lấy được dữ liệu của Facebook là đăng kí một ứng dụng và sử dụng ứng dụng đó như là một tấm vé để có thể tham gia vào được nền tảng dành cho nhà phát triển của Facebook. Hơn nữa, dữ liệu mà 8 ứng dụng có thể lấy còn phụ thuộc vào cả sự cho phép của người dùng ứng dụng. Để rõ hơn về điều này, Facebook đã đưa ra một loạt các tài liệu về chính sách sử dụng nền tảng của Facebook [3] mà bất cứ lập trình viên muốn tham gia vào nền tảng cũng phải tuân theo. Chính sách này luôn được cập nhật dựa vào tình hình Facebook và thế giới.

3: Facebook tạm dừng xác nhận ứng dụng cá nhân vì đại dịch COVID- 19 Bên cạnh các chính sách phải tuân theo, Facebook còn bắt buộc nhà phát triển nộp ứng dụng của họ cho Facebook kiểm tra trước khi có thể sử dụng các dịch vụ hỗ trợ như đăng nhập Facebook, tiếp thị,… hoặc sản phẩm dành cho doanh nghiệp.2 Giới thiệu Facebook Graph-API Trước hết Facebook coi các mối quan hệ giữa các thực thể như là một "Đồ thị xã hội" (Social Graph). 4: Đồ thị xã hội Graph-API: là cấu trúc dữ liệu dạng đồ thị khổng lồ đại diện các tương tác xã hội, được tạo thành bởi những nút (node) và liên kết giữa chúng hay còn gọi là cạnh (edge). Facebook Graph-API [4] là cách chính để tải dữ liệu vào hoặc lấy dữ liệu ra khỏi nền tảng Facebook. Đó là API dựa trên HTTP mà ứng dụng có thể dùng để truy vấn dữ liệu, đăng tin mới, quản lý quảng cáo, tải ảnh lên và thực hiện nhiều tác vụ khác theo lập trình.

5: Mô hình lấy dữ liệu từ Facebook Graph-API Graph API được đặt tên theo ý tưởng của một "đồ thị xã hội" - một đại diện của các thông tin trên Facebook bao gồm: • node (nút): Một cách cơ bản là những "thứ" người ta sử dụng, một hình ảnh, một trang, một nhận xét trong Facebook • edge (cạnh): Là các kết nối giữa những "thứ", chẳng hạn như kết nối giữa hình ảnh và trang chứa ảnh đó, hoặc một ghi chú và bức ảnh được ghi chú đó • field (trường/lĩnh vực): Thông tin về những "thứ", chẳng hạn như ngày sinh nhật của người sử dụng, hoặc tên của một trang. 11 Để làm quen được với Graph-API, Facebook đã hỗ trợ cho nhà phát triển trình khám phá API đồ thị (Graph API Explorer) để cho người dùng thử nghiệm những câu lệnh gọi API cũng như đưa ra những kết quả của lệnh gọi. 6: Giao diện của trình khám phá API đồ thị của Facebook 2.1 Nút (Node) Node là những đối tượng riêng biệt. Nói cách khác là những "thứ" người ta sử dụng, một hình ảnh, một trang, một nhận xét trong Facebook.

Để có thể truy vấn đến một đối tượng trên Graph-API, trường (field ) ID phải được cung cấp. 7: Truy vấn đối tượng sử dụng trình khám phá API đồ thị 12 2.