Luận văn thạc sĩ về ứng dụng trí tuệ nhân tạo trong phân tích dữ liệu ống dẫn khí tại Gaz de France

Luận văn thạc sĩ phân tích application des méthodes dintelligence artificielle à lanalyse des données concernant les, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả

• Tác giả: Chu Thanh-Quang
• Người hướng dẫn: Marketa Pichlova
• Trường học: Institut de la Francophonie pour l'Informatique
• Chuyên ngành: Master en Informatique
• Đề tài: Ứng Dụng AI Trong Phân Tích Dữ Liệu Ống Dẫn Khí
• Loại tài liệu: Rapport de stage
• Năm xuất bản: 2006
• Địa điểm: Paris

Mục lục chi tiết

• REMERCIEMENTS
• Résumé
• Abstract
• 1. PRESENTATION DE L’ENTREPRISE
• 1.1. Présentation de Gaz de France
• 1.2. Etre leader du GNL en Europe
• 1.3. Gérer des infrastructures
• 1.4. Recherche et Développement
• 1.5. Présentation de la Direction de la Recherche
• 1.6. Organisation
• 1.7. Matrice Recherche et Développement
• 1.8. Chiffres-clés
• 1.9. Accueil des stagiaires
• 2. CONTEXTE DU STAGE
• 2.1. Corrosion électrochimique
• 2.2. Canalisations de transport de gaz et leur protection contre la corrosion
• 2.2.1. Protection par revêtement externe
• 2.2.2. Protection cathodique
• 3. ETUDES DES METHODES D’INTELLIGENCE ARTIFICIELLE
• 3.1. Réseaux de neurones
• 3.2. Réseaux de fonction à base radiale
• 3.3. Arbre de décision
• 3.4. Machine à vecteurs supports
• 3.5. K-plus proches voisins
• 3.6. Classifieurs Naïfs bayésiens
• 3.7. Exemple très simple dans la modélisation des risques
• 3.8. Construction et utilisation des réseaux bayésiens
• 3.9. Comparaison des méthodes d’intelligence artificielle
• 3.10. Définition du problème d’analyse de données de canalisation
• 3.10.1. Définir le problème de détection de la corrosion
• 3.10.2. Essayer la prédiction de l’atteinte au métal
• 3.10.3. Essayer la prédiction de la corrosion
• 3.10.4. Réduire le nombre de variables à analyser
• 3.11. Pré-traitement de données
• 3.11.1. Problèmes liés aux données
• 3.11.2. Taille de données
• 3.11.3. Incohérence de données
• 3.11.4. Déséquilibre de données
• 3.11.5. Gestion des valeurs manquantes
• 3.11.6. Rectification des données incohérentes
• 3.11.7. Réplication des corrosions
• 3.12. Analyse des données par les méthodes de classification
• 3.12.1. Construction des modèles d’analyse de données
• 3.12.2. Echantillonnage de données avec différentes tailles de données
• 3.12.3. Apprentissage des modèles de classification
• 3.12.4. Choix des critères de comparaison entre les méthodes
• 3.13. Analyse des résultats
• 3.13.1. Influence de la taille d’échantillon sur le taux de classification
• 3.13.2. Taux de classification de l’ensemble de test et de l’ensemble global
• 3.13.3. Taux de classification des classes corrosion et non-corrosion
• 3.14. Analyse des données par Réseaux bayésiens
• 3.14.1. Discrétisation des variables continues
• 3.14.2. Discrétisation « égales distances »
• 3.14.3. Discrétisation « égales fréquences »
• 3.14.4. Rectification de discrétisation
• 3.14.5. Apprentissage sans échantillonnage et comparaison des réseaux différents
• 4. Analyse des résultats
• 4.1. Analyse des relations découvertes
• 4.2. Analyse des causes de la corrosion
• 4.3. Analyse des évidences et des contradictions dans les observations
• 4.4. Exécution des requêtes sur réseaux bayésiens
• 4.5. Echantillonnage de données, calcul de la performance des réseaux bayésiens
• 4.6. Conclusion sur les réseaux bayésiens
• 5. PERSPECTIVES POUR LA POURSUITE DES RECHERCHES
• 5.1. Amélioration des données d’entrées
• 5.2. Intégration des connaissances de l’expert dans le processus d’apprentissage du réseau bayésien
• 5.3. Simulation temporelle de la corrosion
• BILAN DU STAGE
• LISTE DES TABLEAUX
• LISTE DES FIGURES
• Description de la base de Rex
• Incohérences de données dans la base de Rex
• Règles d’intégrité de la base de Rex
• Sélection des variables pour le problème de classification
• Rapport d’analyse des relations des variables
• Discrétisation égales distances
• Discrétisation égales fréquences
• Discrétisation manuelle rectifiée
• Rapport d’analyse de la variable Corrosion
• Discrétisation égales distances
• Discrétisation égales fréquences
• Discrétisation manuelle rectifiée

Tóm tắt

I. Tổng quan về ứng dụng AI trong phân tích dữ liệu ống dẫn khí

Ứng dụng AI trong phân tích dữ liệu ống dẫn khí đang trở thành một xu hướng quan trọng trong ngành công nghiệp năng lượng. Sự phát triển của công nghệ machine learning và các phương pháp phân tích dữ liệu đã mở ra nhiều cơ hội mới cho việc giám sát và bảo trì các hệ thống ống dẫn khí. Việc áp dụng AI không chỉ giúp phát hiện sớm các vấn đề mà còn tối ưu hóa quy trình vận hành, giảm thiểu rủi ro và chi phí. Nghiên cứu cho thấy rằng việc sử dụng AI có thể cải thiện độ chính xác trong việc dự đoán các sự cố liên quan đến corrosion và các yếu tố khác ảnh hưởng đến độ bền của ống dẫn khí.

1.1. Khái niệm về phân tích dữ liệu ống dẫn khí

Phân tích dữ liệu ống dẫn khí liên quan đến việc thu thập và xử lý thông tin từ các cảm biến và thiết bị giám sát. Dữ liệu này có thể bao gồm thông tin về áp suất, nhiệt độ, và độ ẩm, cũng như các chỉ số liên quan đến tình trạng của ống dẫn. Việc áp dụng AI giúp xử lý khối lượng dữ liệu lớn này một cách hiệu quả, từ đó đưa ra các dự đoán chính xác về tình trạng của hệ thống.

1.2. Lợi ích của việc sử dụng AI trong phân tích dữ liệu

Việc sử dụng AI trong phân tích dữ liệu ống dẫn khí mang lại nhiều lợi ích, bao gồm khả năng phát hiện sớm các dấu hiệu của sự cố, tối ưu hóa quy trình bảo trì và giảm thiểu chi phí. Các mô hình machine learning có thể học từ dữ liệu lịch sử để dự đoán các sự cố tiềm ẩn, từ đó giúp các kỹ sư đưa ra quyết định kịp thời và chính xác.

II. Thách thức trong việc áp dụng AI vào phân tích dữ liệu ống dẫn khí

Mặc dù có nhiều lợi ích, việc áp dụng AI trong phân tích dữ liệu ống dẫn khí cũng gặp phải một số thách thức. Một trong những vấn đề lớn nhất là chất lượng dữ liệu. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến các dự đoán sai lệch. Ngoài ra, việc tích hợp các hệ thống AI vào quy trình hiện tại cũng có thể gặp khó khăn do sự khác biệt về công nghệ và quy trình làm việc.

2.1. Vấn đề về chất lượng dữ liệu

Chất lượng dữ liệu là yếu tố quyết định đến hiệu quả của các mô hình AI. Dữ liệu không chính xác, thiếu sót hoặc không đồng nhất có thể gây ra những sai lầm nghiêm trọng trong phân tích. Do đó, việc đảm bảo dữ liệu đầu vào có chất lượng cao là rất quan trọng.

2.2. Khó khăn trong việc tích hợp công nghệ

Việc tích hợp các giải pháp AI vào hệ thống hiện tại có thể gặp nhiều khó khăn. Các công nghệ mới thường không tương thích với các hệ thống cũ, dẫn đến việc cần phải đầu tư vào nâng cấp hoặc thay thế thiết bị. Điều này có thể làm tăng chi phí và thời gian triển khai.

III. Phương pháp chính trong ứng dụng AI cho phân tích dữ liệu ống dẫn khí

Có nhiều phương pháp AI có thể được áp dụng trong phân tích dữ liệu ống dẫn khí. Các phương pháp này bao gồm machine learning, deep learning, và các mô hình thống kê. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng để đạt được kết quả tốt nhất.

3.1. Machine Learning trong phân tích dữ liệu

Machine Learning là một trong những phương pháp phổ biến nhất trong phân tích dữ liệu ống dẫn khí. Các thuật toán như cây quyết định, hồi quy logistic, và mạng nơ-ron có thể được sử dụng để dự đoán tình trạng của ống dẫn và phát hiện các dấu hiệu của sự cố.

3.2. Deep Learning và ứng dụng của nó

Deep Learning, một nhánh của machine learning, sử dụng các mạng nơ-ron sâu để xử lý và phân tích dữ liệu phức tạp. Phương pháp này có thể giúp phát hiện các mẫu và xu hướng trong dữ liệu mà các phương pháp truyền thống không thể nhận diện được.

IV. Ứng dụng thực tiễn của AI trong phân tích dữ liệu ống dẫn khí

Nhiều công ty trong ngành năng lượng đã áp dụng AI để cải thiện quy trình phân tích dữ liệu ống dẫn khí. Các ứng dụng này không chỉ giúp phát hiện sớm các vấn đề mà còn tối ưu hóa quy trình bảo trì và giảm thiểu chi phí. Ví dụ, một số công ty đã sử dụng các mô hình machine learning để dự đoán các sự cố liên quan đến corrosion, từ đó giảm thiểu rủi ro và tăng cường an toàn cho hệ thống.

4.1. Các trường hợp thành công trong ngành năng lượng

Nhiều công ty năng lượng đã thành công trong việc áp dụng AI để cải thiện hiệu suất và độ tin cậy của hệ thống ống dẫn khí. Các nghiên cứu điển hình cho thấy rằng việc sử dụng AI có thể giảm thiểu thời gian ngừng hoạt động và chi phí bảo trì.

4.2. Kết quả nghiên cứu và phân tích

Các nghiên cứu cho thấy rằng việc áp dụng AI trong phân tích dữ liệu ống dẫn khí có thể cải thiện độ chính xác trong việc dự đoán các sự cố. Kết quả từ các mô hình machine learning cho thấy tỷ lệ chính xác cao trong việc phát hiện các dấu hiệu của sự cố, từ đó giúp các công ty đưa ra quyết định kịp thời.

V. Kết luận và tương lai của AI trong phân tích dữ liệu ống dẫn khí

Tương lai của AI trong phân tích dữ liệu ống dẫn khí rất hứa hẹn. Với sự phát triển không ngừng của công nghệ, các giải pháp AI sẽ ngày càng trở nên mạnh mẽ và hiệu quả hơn. Việc áp dụng AI không chỉ giúp cải thiện quy trình phân tích mà còn mở ra nhiều cơ hội mới cho ngành công nghiệp năng lượng.

5.1. Triển vọng phát triển công nghệ AI

Công nghệ AI đang phát triển nhanh chóng và có tiềm năng lớn trong việc cải thiện quy trình phân tích dữ liệu ống dẫn khí. Các nghiên cứu và phát triển trong lĩnh vực này sẽ tiếp tục mang lại những giải pháp mới và hiệu quả hơn.

5.2. Tác động của AI đến ngành công nghiệp năng lượng

Việc áp dụng AI trong ngành công nghiệp năng lượng sẽ có tác động lớn đến cách thức vận hành và bảo trì các hệ thống ống dẫn khí. Điều này không chỉ giúp tăng cường an toàn mà còn cải thiện hiệu suất và giảm thiểu chi phí.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh ngành năng lượng châu Âu ngày càng phát triển, việc duy trì và bảo trì hệ thống vận chuyển khí đốt là một thách thức lớn. Với mạng lưới đường ống khí trung bình đã hoạt động khoảng 25 năm tại Pháp, vấn đề ăn mòn điện hóa của các đường ống khí trở thành một mối nguy hiểm đáng kể, ảnh hưởng trực tiếp tới an toàn vận hành và chi phí bảo trì. Tại Việt Nam, ứng dụng công nghệ thông tin trong quản lý và phân tích dữ liệu ngành năng lượng cũng ngày càng được chú trọng. Luận văn thạc sĩ này tập trung vào việc ứng dụng các phương pháp trí tuệ nhân tạo để phân tích dữ liệu về tình trạng ăn mòn của các đường ống khí, dựa trên cơ sở dữ liệu thực tế hơn 4700 mẫu dữ liệu khai thác từ các đợt đào vét sửa chữa đường ống trên toàn lãnh thổ Pháp.

Mục tiêu chính của nghiên cứu là phát triển các mô hình dự đoán và giải thích nguyên nhân gây ăn mòn từ dữ liệu thu thập được, giúp nâng cao hiệu quả bảo trì và tối ưu hóa chu kỳ kiểm tra đường ống. Nghiên cứu thực hiện trong khoảng thời gian 6 tháng tại Phòng Thống kê và Trí tuệ nhân tạo, Bộ phận Nghiên cứu của Gaz de France (Pháp), với phạm vi dữ liệu thu thập từ hơn 4700 đợt kiểm tra, khai quật tại nhiều khu vực có địa hình, đặc tính đất đai khác nhau, nhằm đảm bảo tính đại diện và đa dạng cho cơ sở dữ liệu.

Các chỉ số đánh giá hiệu suất mô hình bao gồm tỷ lệ phân loại chính xác, khả năng dự báo sự hiện diện của hiện tượng ăn mòn, và sự giải thích các mối quan hệ nhân quả trong dữ liệu. Nghiên cứu này có ý nghĩa thiết thực trong việc giảm thiểu rủi ro an toàn, giảm chi phí vận hành, cũng như góp phần phát triển bền vững trong lĩnh vực quản lý hệ thống năng lượng.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn vận dụng đa dạng các lý thuyết và mô hình của trí tuệ nhân tạo trong phân tích dữ liệu phức tạp. Đầu tiên là mô hình mạng nơ-ron nhân tạo (Artificial Neural Network - ANN), dựa trên nguyên lý hoạt động mô phỏng cấu trúc và chức năng của tế bào thần kinh sinh học để tìm kiếm mối quan hệ ẩn và biểu diễn hàm phức tạp giữa các biến. Mạng nơ-ron đa tầng (Multilayer Perceptron) sử dụng thuật toán lan truyền ngược là phương pháp chính để học mô hình dựa trên dữ liệu đã biết.

Mô hình thứ hai là Cây quyết định (Decision Tree), được sử dụng để xây dựng các quy tắc phân loại theo dạng đồ thị, dễ dàng giải thích kết quả và ra quyết định. Cây quyết định chuyển đổi dữ liệu đầu vào thành một tập hợp các quy tắc đơn giản và trực quan.

Thứ ba là Máy vector hỗ trợ (Support Vector Machine - SVM), tập trung tìm siêu phẳng tối ưu nhằm phân tách các lớp dữ liệu một cách hiệu quả trong không gian đa chiều thông qua hàm kernel.

Phương pháp k-láng giềng gần nhất (K-Nearest Neighbors - KNN) dựa trên nguyên tắc các điểm gần nhau trong không gian đặc trưng thuộc cùng một lớp, giúp phân loại qua kiểm tra các láng giềng gần nhất.

Cuối cùng, phương pháp Mạng Bayes (Bayesian Networks) được dùng để mô hình hóa các quan hệ nhân quả và xác suất giữa các biến, vừa có khả năng giải thích, vừa nâng cao hiệu quả dự đoán. Mạng Bayes là một mô hình xác suất đồ thị cho phép kết hợp kiến thức chuyên gia với dữ liệu thực nghiệm, thích hợp để khám phá các nguyên nhân tiềm ẩn gây ăn mòn.

Ba khái niệm chính xuyên suốt nghiên cứu gồm: corrosion (ăn mòn điện hóa), coating defect (khiếm khuyết lớp phủ bảo vệ), và data mining (khai phá dữ liệu). Ngoài ra, khái niệm data imbalance (mất cân bằng dữ liệu) được nhận diện như một thách thức quan trọng vì số lượng mẫu ăn mòn thấp gây ảnh hưởng đến độ chính xác mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là cơ sở dữ liệu REX (Retour d’Expérience), gồm hơn 4700 bản ghi các lần đào vét kiểm tra thực tế các đường ống khí, được thu thập tại nhiều khu vực trên nước Pháp từ những đợt khai thác cũ. Bộ dữ liệu bao gồm khoảng 40 biến, tổng hợp dữ liệu số và dạng phân loại liên quan đến đặc điểm địa lý, loại lớp phủ, đặc tính độ dày kim loại, tình trạng ăn mòn, cũng như các phép đo điện hóa liên quan.

Trước khi phân tích, dữ liệu được làm sạch triệt để: giá trị bị thiếu được xử lý bằng cách thay thế giá trị trung bình hoặc gán nhãn “UNKNOWN” cho biến phân loại; dữ liệu không nhất quán được chuẩn hóa thông qua quy tắc do các chuyên gia xác định; bất cân bằng dữ liệu về số lượng mẫu ăn mòn và không ăn mòn được khắc phục bằng kỹ thuật nhân bản mẫu (sampling) nhằm cân bằng hai lớp.

Phương pháp phân tích gồm các bước: lựa chọn biến quan trọng từ nhóm 21 biến có ảnh hưởng lớn đến ăn mòn dựa trên tham vấn chuyên gia; phân chia dữ liệu thành tập học (75%) và tập kiểm tra (25%); xây dựng và huấn luyện mô hình với 5 kỹ thuật AI phổ biến gồm mạng nơ-ron, cây quyết định, máy vector hỗ trợ, k-láng giềng gần nhất, và mạng Bayes; đánh giá kết quả qua chỉ số độ chính xác phân loại, đặc biệt tập trung vào khả năng phát hiện ăn mòn.

Thời gian nghiên cứu kéo dài 6 tháng (từ tháng 3 đến tháng 8 năm 2006), đảm bảo đủ giai đoạn tiền xử lý, phát triển mô hình, thử nghiệm và phân tích kết quả. Các công cụ phần mềm sử dụng bao gồm STATISTICA cho các thuật toán phân tích và BayesiaLab cho xây dựng mạng Bayes.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất các mô hình phân loại:

   • Mạng nơ-ron và cây quyết định đạt tỷ lệ phân loại chính xác cao nhất trên tập thử nghiệm, bình quân khoảng 83-85%.
   • Máy vector hỗ trợ và k-láng giềng gần nhất có hiệu suất thấp hơn, khoảng 75-80%, với SVM chịu ảnh hưởng từ kỹ thuật nhân bản dữ liệu.
   • Mạng Bayes đóng vai trò đặc biệt khi vừa dự đoán đạt độ chính xác tương đương (khoảng 85%), vừa cung cấp giải thích nhân quả.

2. Ảnh hưởng của kích thước và cân bằng dữ liệu:

   • Khi kích thước tập dữ liệu tăng từ 1000 lên 7000 mẫu, tỷ lệ chính xác phân loại với các mô hình mạng nơ-ron và cây quyết định tăng lên đến 15%.
   • Việc nhân bản dữ liệu lớp ăn mòn (tăng lượng mẫu từ 452 lên gần 3000) giúp tăng khả năng nhận dạng ăn mòn, tỷ lệ phát hiện ăn mòn tăng từ 13% gốc lên đến gần 67% trong mạng Bayes.

3. Phân tích nguyên nhân ăn mòn qua mạng Bayes:

   • Biến quan trọng nhất liên quan tới ăn mòn là "Atteinte au métal" (tổn thương kim loại) với chỉ số thông tin tương đối bằng 1 so với các biến còn lại.
   • Các yếu tố thứ cấp gồm: "Presence d’un dépôt" (sự có mặt của lớp trầm tích) và kiểu "Revêtement" (lớp phủ bảo vệ), với mức ảnh hưởng lần lượt là 5,14% và 2,51%.
   • Dự báo xác suất ăn mòn tăng tới 67,14% khi có tổn thương kim loại, trong khi xác suất ăn mòn cơ bản trong dữ liệu chỉ khoảng 13,29%.

4. Hệ quả và mối quan hệ phát hiện:

   • Các mối quan hệ phi trực quan, như liên hệ giữa đặc tính "nature_du_site" và "protection_mécanique", cũng được phát hiện, cung cấp thêm kiến thức mới cho chuyên gia kỹ thuật.
   • Qua các phép thử truy vấn trên mạng Bayes thể hiện các ảnh hưởng tương tác giữa các yếu tố như sự hiện diện trầm tích và loại lớp phủ trên nguy cơ ăn mòn.

Thảo luận kết quả

Việc phân tích trên một tập dữ liệu thực tế giá trị lớn và nhiều chiều cho thấy các phương pháp trí tuệ nhân tạo truyền thống như mạng nơ-ron và cây quyết định có năng lực mô hình hóa lẫn dự báo hiệu quả với tỷ lệ trung bình đạt hơn 80%. Tuy nhiên, do đặc điểm của dữ liệu mất cân bằng và nhiều giá trị bị thiếu, việc sử dụng phương pháp mạng Bayes lại nổi bật với khả năng giải thích nguyên nhân, cung cấp mô hình vừa dự báo vừa hỗ trợ phân tích sâu.

Sự gia tăng tỷ lệ phát hiện ăn mòn theo kích thước mẫu cân bằng cho thấy sự cần thiết phải bổ sung thêm dữ liệu cho lớp thiểu số nhằm cải thiện mô hình. Kết quả này tương đồng với báo cáo ngành và các nghiên cứu khác về khai thác dữ liệu mất cân bằng trong bảo trì tài sản, cho thấy sự tồn tại rủi ro thấp đi kèm với dữ liệu nghèo nàn ảnh hưởng đến hiệu suất mô hình.

Các đồ thị biểu diễn mối quan hệ giữa kích thước tổng dữ liệu với tỷ lệ phân loại, cũng như tỉ lệ các lớp trong dữ liệu và tỷ lệ phát hiện ăn mòn, là cách trực quan nhằm khẳng định tính khả thi của các lựa chọn công nghệ trong thực tế. Môi trường địa chất, các loại lớp phủ và đặc điểm kỹ thuật của đường ống được làm rõ mối liên hệ với quá trình ăn mòn giúp chiến lược bảo trì định hướng khoa học hơn.

Như vậy, tổng hợp các kết quả này cho thấy mô hình mạng Bayes vừa đảm bảo dự báo chính xác trên 85% vừa cho phép các chuyên gia đưa ra các quyết định căn cứ vào lý giải khoa học, trong khi các phương pháp khác chỉ tập trung vào dự đoán mà thiếu tính giải thích.

---

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm giàu dữ liệu chất lượng

   • Mục tiêu: Đa dạng hóa và cân bằng tỷ lệ mẫu ăn mòn trong cơ sở dữ liệu lên hơn 30% trong vòng 24 tháng.
   • Chủ thể: Bộ phận kỹ thuật và quản lý dữ liệu của Gaz de France phối hợp với các đơn vị vận hành khai thác thực địa.
   • Cách làm: Tăng số lượng đào vét có trọng số thu thập thông tin ăn mòn, đồng thời ứng dụng các thiết bị đo mới để hạn chế dữ liệu bị thiếu.

2. Ứng dụng mô hình mạng Bayes trong phần mềm quản lý bảo trì

   • Mục tiêu: Tích hợp mô hình mạng Bayes thành công cụ hỗ trợ quyết định bảo trì trước quý IV/2024.
   • Chủ thể: Bộ phận CNTT và phòng nghiên cứu phát triển.
   • Cách làm: Xây dựng giao diện truy vấn, huấn luyện vận hành, cập nhật liên tục dựa trên dữ liệu thực tế, đảm bảo tính mở rộng và dễ dàng khai thác thông tin nhân quả.

3. Đào tạo và nâng cao nhận thức chuyên gia kỹ thuật về AI và phân tích dữ liệu

   • Mục tiêu: Tổ chức ít nhất 3 khóa đào tạo chuyên sâu trong 12 tháng tới nhằm cải thiện kỹ năng đọc và áp dụng dữ liệu mạng Bayes.
   • Chủ thể: Ban quản lý nhân sự và phòng đào tạo nội bộ.
   • Cách làm: Mời chuyên gia chuyển giao công nghệ, kết hợp đào tạo thực hành mô phỏng tình huống bảo trì dựa trên dữ liệu phân tích.

4. Nghiên cứu mở rộng ứng dụng AI kết hợp với mô phỏng thời gian thực (simulation)

   • Mục tiêu: Chạy mô hình mô phỏng đường ống trong thời gian thực để dự báo xu hướng ăn mòn trong 5 năm tới.
   • Chủ thể: Phòng nghiên cứu cùng các chuyên gia ngành vật liệu và địa chất.
   • Cách làm: Kết hợp dữ liệu thực địa, các thông tin môi trường, lớp phủ để mô hình hóa sự phát triển ăn mòn, phục vụ lên kế hoạch bảo trì chiến lược.

---

Đối tượng nên tham khảo luận văn

1. Chuyên gia bảo trì và vận hành mạng lưới khí đốt

   • Lợi ích: Hiểu rõ nguyên nhân gây ăn mòn, ứng dụng các công cụ dự báo để tối ưu hóa kế hoạch kiểm tra, tiết kiệm chi phí và nâng cao an toàn.

2. Nhà nghiên cứu và phát triển công nghệ AI ứng dụng trong công nghiệp

   • Lợi ích: Tham khảo quy trình áp dụng các thuật toán AI thực tế cho vấn đề phân tích dữ liệu phức tạp, đặc biệt mạng Bayes kết hợp dữ liệu thực nghiệm và kiến thức chuyên gia.

3. Sinh viên và học giả ngành công nghệ thông tin, kỹ thuật dầu khí và vật liệu

   • Lợi ích: Nắm bắt kiến thức về ứng dụng đa dạng của trí tuệ nhân tạo trong khai thác dữ liệu ngành công nghiệp nặng, từ tiền xử lý dữ liệu đến giải thích mô hình.

4. Nhà hoạch định chính sách năng lượng và an toàn công nghiệp

   • Lợi ích: Có dữ liệu cơ sở khoa học phục vụ các chính sách liên quan đến an toàn vận hành, tiêu chuẩn bảo trì thiết bị hạ tầng năng lượng và phát triển bền vững ngành khí đốt.

---

Câu hỏi thường gặp

1. Phương pháp nào cho kết quả dự đoán ăn mòn tốt nhất trong nghiên cứu này?
Mạng Bayes và cây quyết định cho hiệu suất dự đoán cao nhất, với tỷ lệ chính xác khoảng 83-85%. Trong đó, mạng Bayes có lợi thế lớn về khả năng giải thích nguyên nhân qua mô hình xác suất.

2. Dữ liệu mất cân bằng ảnh hưởng thế nào đến kết quả mô hình?
Số lượng mẫu ăn mòn chiếm tỷ lệ nhỏ (khoảng 10%) làm mô hình khó nhận diện chính xác lớp thiểu số, làm giảm độ nhạy dự báo ăn mòn. Kỹ thuật nhân bản mẫu giúp cân bằng dữ liệu và cải thiện đáng kể tỷ lệ phát hiện.

3. Tại sao phải sử dụng mạng Bayes trong nghiên cứu này?
Mạng Bayes không chỉ dự báo sự kiện ăn mòn mà còn mô hình hóa các mối quan hệ nhân quả giữa các biến, giúp chuyên gia hiểu rõ các yếu tố ảnh hưởng và ra quyết định bảo trì khoa học hơn.

4. Những thách thức liên quan đến dữ liệu thu thập trong nghiên cứu là gì?
Dữ liệu có nhiều giá trị thiếu, không nhất quán và sai sót do nhập liệu thủ công gây khó khăn cho quá trình phân tích, đồng thời số lượng mẫu còn hạn chế so với yêu cầu độ chính xác cao.

5. Liệu kết quả nghiên cứu có thể áp dụng cho các hệ thống đường ống khí đốt khác không?
Mô hình và phương pháp có tính tổng quát cao và có thể được tinh chỉnh để áp dụng trong các mạng lưới khí khác hoặc hệ thống tương tự, tuy nhiên cần tùy chỉnh theo đặc điểm dữ liệu và điều kiện vận hành địa phương.

---

Kết luận

• Áp dụng các phương pháp trí tuệ nhân tạo trong phân tích dữ liệu đường ống khí đốt giúp dự đoán hiện tượng ăn mòn với độ chính xác trên 80%, trong đó mạng Bayes cho hiệu quả đồng thời giải thích nguyên nhân khoa học.
• Dữ liệu mất cân bằng và thiếu hụt là thách thức lớn, yêu cầu bổ sung dữ liệu chất lượng nhằm nâng cao độ tin cậy mô hình.
• Các yếu tố chủ chốt ảnh hưởng đến ăn mòn được xác định gồm tổn thương kim loại, sự hiện diện lớp trầm tích và loại lớp phủ bảo vệ.
• Mô hình phân tích dữ liệu tích hợp kiến thức chuyên gia là nền tảng để phát triển các công cụ hỗ trợ bảo trì dựa trên dữ liệu thực tế.
• Giai đoạn tiếp theo nên tập trung vào mở rộng thu thập dữ liệu, ứng dụng mô hình trong quản lý thực tế, và đào tạo nhân sự nhằm nâng cao hiệu quả vận hành hạ tầng khí đốt.

Kêu gọi các nhà quản lý, kỹ sư và nghiên cứu cùng tiếp nhận và ứng dụng kết quả này để đóng góp vào sự phát triển bền vững, an toàn và hiệu quả trong ngành công nghiệp năng lượng.

Trích đoạn nội dung tài liệu

Institut de la francophonie pour l’informatique Rapport de stage de fin d’études Application des méthodes d'intelligence artificielle à l'analyse des données concernant les canalisations de gaz CHU Thanh-Quang Lieu du stage: Gaz de France, Direction de la Recherche, 361 Av. du Pdt Wilson - BP. 33 93211 La Plaine Saint Denis Cedex Période du stage: du 01/03/2006 au 31/08/2006 Tutrice de stage: Marketa PICHLOVA TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation REMERCIEMENTS Je tiens tout d’abord à remercier monsieur Yves MELQUIOND, chef du pôle Statistiques et Intelligence Artificielle à la Direction de la Recherche de Gaz de France, pour m’avoir permis d’effectuer mon stage ici. Je voudrais exprimer mes reconnaissances à Marketa PICHLOVA, mon maître de stage, qui a dirigé mon travail de recherche et qui m'a donné de bons conseils et des aides précieuses tout au long de mon stage de fin d’études.

Je souhaite également remercier chaleureusement toute l’équipe du projet RPCI&IA: Emmanuel CHATEAU, chef de projet, Michel MEYER, expert corrosion et Mures ZAREA. Leur cordialité et leur écoute m’ont permis de m’intégrer rapidement, et de travailler dans une ambiance agréable. Je tiens également à exprimer toute ma sympathie à l’ensemble des collègues du pôle, pour leur accueil et leur attitude ouverte vis-à-vis des stagiaires, que l’ensemble du personnel de l’entreprise soit aussi remercié, pour permettre de faire perdurer cette politique d’ouverture enrichissante. J’adresse mes reconnaissances aux professeurs de l’Institut de la Francophonie pour l’Informatique, pour m’avoir aidé à effectuer ce stage à Gaz de France.

Paris, juillet - 2006 Chu Thanh Quang CHU Thanh-Quang Page 2 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation Résumé Etudiant en deuxième année à l'Institut de la Francophonie pour l'Informatique au Vietnam, je prépare le diplôme de master en informatique. J’ai fait mon stage de fin d’études chez Gaz de France – Direction de la Recherche dans le Pôle Statistiques et Intelligence artificielle. J’ai travaillé pendant 6 mois sur le sujet « Application des méthodes d'intelligence artificielle à l'analyse des données concernant les canalisations de gaz ». L’objectif du stage est de l’explorer des informations intéressantes concernant le problème de corrosion des canalisations de gaz.

Il s’agit d’utiliser différentes méthodes d’Intelligence Artificielle pour analyser une base de données des défauts de revêtements sur les tubes transportant du gaz. Il y a deux parties dans mon travail. La première partie, consistait à étudier la présence de la corrosion sur les défauts de revêtement en utilisant des méthodes qui peuvent faire la prédiction de la corrosion telles que les réseaux de neurones, les arbres de décision, les machines à vecteur support, k-plus proches voisins, etc. Ces méthodes non-explicatives ne sont pas capables d’expliquer les causes de la corrosion.

Et dans la deuxième partie, j’ai utilisé la méthode de réseaux bayésiens pour expliquer les causes de la corrosion sur les canalisations en analysant les relations découvertes entre les variables de la base de données. Abstract In my second year at the Information Technology Institute of the Francophone in Vietnam, I’ve prepared the master program on IT. I have an internship at Gaz de France - Research Direction, in the Pole Statistics and artificial Intelligence. I’ve been working for 6 months on the subject “Applying the artificial intelligence method on the data analysis of the gas pipelines”.

The internship objective is to indicate some interesting information concerning the corrosion problem on the gas pipelines. It is a question of using various Artificial Intelligence methods to analyze a database of the coatings defects on the tubes transporting of gas. There are two parts in my work. The first part, I studied the presence of corrosion on the coatings defects by using the methods, which can predict corrosion problem such as Neural Network, Decision Tree, Support Vector Machine, and K-Nearest Neighbors etc.

However, these methods cannot be good explanations for the corrosion problem. Therefore, in the second part, I use the Bayesian Network method to explain the causes of corrosion on the tubes by analyzing the found relationship among the variables of data. CHU Thanh-Quang Page 3 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation TABLE DES MATIERES 1. PRESENTATION DE L’ENTREPRISE.

Présentation de Gaz de France. Etre leader du GNL en Europe. Gérer des infrastructures. Recherche et Développement.

Présentation de la Direction de la Recherche. Matrice Recherche et Développement. Accueil des stagiaires. CONTEXTE DU STAGE.

Canalisations de transport de gaz et leur protection contre la corrosion. Protection par revêtement externe. Méthodes de détection de la corrosion. Piston instrumenté – inspection de la corrosion par voie interne.

Excavation – inspection directe de la corrosion externe. Mesures de surface. Fiche de constat sur Fouille. Projet PRCI&IA.

Base de données REX (Retour d’Expérience). Objectifs du stage et déroulement des travaux. ETUDES DES METHODES D’INTELLIGENCE ARTIFICIELLE. Réseaux de neurones.

Réseaux de fonction à base radiale. Arbre de décision. 18 CHU Thanh-Quang Page 4 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation 3. Machine à vecteurs supports.

K-plus proches voisins. Classifieurs Naïfs bayésiens. Exemple très simple dans la modélisation des risques. Construction et utilisation des réseaux bayésiens.

Comparaison des méthodes d’intelligence artificielle. Définition du problème d’analyse de données de canalisation. Définir le problème de détection de la corrosion. Essayer la prédiction de l’atteinte au métal.

Essayer la prédiction de la corrosion. Réduire le nombre de variables à analyser. Pré-traitement de données. Problèmes liés aux données.

Taille de données. Incohérence de données. Déséquilibre de données. Gestion des valeurs manquantes.

Rectification des données incohérentes. Réplication des corrosions. Analyse des données par les méthodes de classification. Construction des modèles d’analyse de données.

Echantillonnage de données avec différentes tailles de données. Apprentissage des modèles de classification. Choix des critères de comparaison entre les méthodes. Analyse des résultats.

Influence de la taille d’échantillon sur le taux de classification. Taux de classification de l’ensemble de test et de l’ensemble global. Taux de classification des classes corrosion et non-corrosion. Analyse des données par Réseaux bayésiens.

Discrétisation des variables continues. Discrétisation « égales distances ». Discrétisation « égales fréquences ». Rectification de discrétisation.

Apprentissage sans échantillonnage et comparaison des réseaux différents. 39 CHU Thanh-Quang Page 5 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation 4. Analyse des résultats. Analyse des relations découvertes.

Analyse des causes de la corrosion. Analyse des évidences et des contradictions dans les observations. Exécution des requêtes sur réseaux bayésiens. Echantillonnage de données, calcul de la performance des réseaux bayésiens.

Conclusion sur les réseaux bayésiens. PERSPECTIVES POUR LA POURSUITE DES RECHERCHES. Amélioration des données d’entrées. Intégration des connaissances de l’expert dans le processus d’apprentissage du réseau bayésien.

Simulation temporelle de la corrosion. BILAN DU STAGE. LISTE DES TABLEAUX. LISTE DES FIGURES.

Description de la base de Rex. Incohérences de données dans la base de Rex. Règles d’intégrité de la base de Rex. Sélection des variables pour le problème de classification.

Rapport d’analyse des relations des variables. Discrétisation égales distances. Discrétisation égales fréquences. Discrétisation manuelle rectifiée.

Rapport d’analyse de la variable Corrosion. Discrétisation égales distances. Discrétisation égales fréquences. Discrétisation manuelle rectifiée.

80 CHU Thanh-Quang Page 6 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation 1. PRESENTATION DE L’ENTREPRISE 1. Présentation de Gaz de France Gaz de France est un acteur majeur de l'énergie en Europe. Le Groupe produit, transporte, distribue et commercialise du gaz, de l'électricité et des services auprès de 13,8 millions de clients (particuliers, entreprises, collectivités).

Organisation Le management de Gaz de France repose sur un Comité exécutif et 4 Branches opérationnelles. Quatre fonctions de pilotage sont également rattachées au Président Directeur Général: stratégie, communication, audit et risques et délégation aux cadres dirigeants Groupe. L'organisation opérationnelle du Groupe s'articule aujourd'hui autour d'un Comité exécutif, organe de pilotage du groupe Gaz de France et de 4 Branches opérationnelles: Approvisionnements et Production, Infrastructures, Clientèles, International. Ambition Gaz de France a pour ambition de fournir de l'énergie et des services à ses clients au meilleur prix, de s'imposer comme un gestionnaire d'infrastructures de référence en Europe, d’être un acteur engagé du développement durable et de créer de la valeur pour ses actionnaires.

Activités Le Groupe produit, transporte, distribue et vend du gaz, de l'électricité et des services auprès de 13,8 millions de clients (particuliers, entreprises, collectivités locales) en Europe. Il intervient sur l'ensemble de la chaîne gazière. Acheter Gaz de France est le 4ème acheteur mondial de gaz naturel et dispose du portefeuille d'approvisionnement le plus diversifié en Europe. C'est pourquoi Gaz de France peut garantir à ses clients la fourniture d'une énergie compétitive.

Vendre Gaz de France vend à ses clients du gaz, de l'électricité et des services en France et en Europe. Le Groupe est le 3ème opérateur de services énergétiques en France et le 2ème en Italie. Produire Etre producteur est le fruit d'une politique volontariste de diversification du portefeuille d'approvisionnements du Groupe. Depuis 2005, Gaz de France produit également de l'électricité.

Etre leader du GNL en Europe Gaz de France est le 2ème acteur du gaz naturel liquéfié (GNL), le 2ème opérateur de réception de GNL en Europe et le 5ème importateur mondial. En 2005, le GNL a représenté 26 % des approvisionnements de long terme de Gaz de France. CHU Thanh-Quang Page 7 sur 82 TIEU LUAN MOI download : [e-mail] Application des méthodes d'intelligence artificielle à l'analyse des données de canalisation 1. Gérer des infrastructures Gaz de France investit significativement sur son réseau en France et renforce ses positions en Europe, pour s'imposer comme un gestionnaire d'infrastructures de référence.

Recherche et Développement La Direction de la recherche de Gaz de France joue un rôle décisif car elle prépare l'avenir du Groupe en anticipant les évolutions et en contribuant à construire des avantages concurrentiels. Les 4 priorités de la Direction de la recherche de Gaz de France sont la sécurité, la performance économique (tant pour Gaz de France que pour ses clients), la construction d'avantages concurrentiels pour les activités commerciales du Groupe et la préparation de l'avenir énergétique dans une perspective de développement durable. Présentation de la Direction de la Recherche La Direction de la Recherche est le Centre de recherche de Gaz de France, modèle choisi d'une R&D intégrée au Groupe, dont la finalité est d'apporter son expertise sur tous les métiers du domaine gazier et de l'énergie, de façon à favoriser le développement du Groupe comme la DR le fait depuis l'origine de Gaz de France. Le centre de recherche est réparti sur 2 sites, tous les 2 dédiés à la recherche appliquée : l'un situé à Saint Denis et l'autre à Alfortville (France).

Des programmes de recherche fondamentale sont également menés en partenariat avec des organismes comme le CNRS, des grandes écoles et des universités, des fondations ou des pôles de compétitivité. Gaz de France joue également un rôle majeur dans la recherche énergétique européenne et figure parmi les leaders mondiaux de la recherche gazière. La Direction de la recherche de Gaz de France a environ de 590 collaborateurs et effectue 40 % des recrutements ingénieurs chez Gaz de France 1. Organisation La Direction de la Recherche est organisée selon une structure matricielle constituée d'un axe «programme de recherche» et d'un axe «compétences».

Les 7 programmes de recherche couvrent l'ensemble de la chaîne gazière : Gaz Naturel Liquéfié (GNL), Transport, Distribution, Clients Industriels, Clients Résidentiels et Tertiaires, Nouveaux Marchés, Etudes Economiques et Générales. Ils incluent les 80 projets de recherche définis par le Contrat de Recherche triennal.