ต้องหัดเรียนรู้...

วันศุกร์ที่ 17 กุมภาพันธ์ 2555

นงโทรศัพท์มาปรึกษาปัญหา HOSxPในเวอร์ชั่น 3.55.1.19เวอร์ชั่นเดียวกันกับที่ รพร.ด่านซ้ายใช้งานอยู่ในปัจจุบัน  ก่อนหน้านี้ รพ.หัวตะพานเคยมีปัญหาที่ห้องตรวจ มีอาการค้างหลังจากที่ลงบันทึกข้อมูล การแก้ไขในเบื้องต้นในครั้งนั้นทางทีมได้ลองอัพเวอร์ชั่นของ HOSxP ก็สามารถแก้ปัญหาผ่านไปได้ 

หลังจากที่ได้รับทราบปัญหา ผมเองยังคิดไปว่าโปรแกรม ไม่มีรายการ access_menuแสดง (ปัญหาของการปรึกษาทางโทรศัพท์ที่จินตนาการภาพของปัญหาไม่เหมือนกัน) ผมจึงโทรศัพท์คุยกับอาร์มได้คำแนะนำในเบื้องต้นว่าน่าจะลอง check/repair serial ดู ถ้าไม่ได้ก็ลอง check/rapair talbe

ปัญหาในครั้งแรกของโปรแกรมเริ่มมีอาการแปลกๆ หลังจากทีจะเข้าไปแก้ไข การเข้าไขใช้งานของผู้ใช้ ซึ่งเมื่อคลิกเลือกชื่อผู้ใช้ที่ต้องการแก้ไข จะมี popupแสดงข้อความแจ้ง errorและในส่วนของ Login name,ชื่อ ,ตำแหน่ง เป็นข้อมูลว่างๆ บางช่องข้อมูลมี list รายการให้เลือกแต่ก็ไม่สามารถบันทึกได้ ทำให้การแก้ไขข้อมูลผู้ใช้ทำไม่ได้เลย แม้จะลองกันหลายครั้ง กับคอมพิวเตอร์เครื่องอื่นโดยใช้ userของ adminท่านอื่น แต่อาการก็ยังเหมือนเดิม  ด้วยความสงสัยอะไรบางอย่างจึงลองให้นงเปิดฐาน opduser เปรียบเทียบกันระหว่างฐานจริง กับฐานสำรองว่ามีอะไรแตกต่างหรือผิดปกติหรือไม่ แต่ก็ยังไม่พบอะไรที่น่าผิดปกติ..

20.30 น.
ผมจึงนัดกับนงและอั๋น Admin ของ รพ.หัวตะพาน อีกครั้งในช่วงค่ำ เพื่อพูดคุยแนวทางในการแก้ไขปัญหา โดยเบื้องต้นอั๋นได้หยุดการทำ replication ระหว่างเครื่อง Masterและ Slaveไว้ก่อน ซึ่งจากการตรวจสอบฐานข้อมูลที่เครื่อง Slave ก็มีอาการเหมือนกัน  ก็คิดว่าจะได้ทดสอบวิธีการแก้ปัญหาที่เครื่อง Slaveกันก่อน ซึ่งหากได้ผลก็จะได้ทำในฐานจริงกันต่อไป  ซึ่งขั้นตอนการแก้ไขได้ทดลองทำดังนี้ครับ

1. Check/Repair serial
2. Check/Rapair table
3. update structure 

ทั้งสามวิธี ไม่มีผลแตกต่างปัญหายังคงอยู่ ผมลองตรวจสอบตาราง opd user พบอะไรที่ผิดปกติบางอย่างแต่ลองแก้ไขและอัพเดต ก็ยังดูเหมือนว่าไม่ใช่จุดที่ทำให้เกิดปัญหา ทดลองกันอยู่จนห้าทุ่ม ไม่มีความคืบหน้า ลองโพสต์ข้อมูลลงใน HOSxP on Facebook ก็ไม่มีใครช่วยตอบปัญหานี้ได้เลย ถึงแม้ว่าโปรแกรมยังทำงานได้ปกติ  แต่พวกเราก็ยังไม่ค่อยสบายใจจึงให้เฝ้าระวังไว้หากมีอะไรให้แจ้งทันที ก่อนที่แยกย้ายกันกลับไปพักผ่อน พรุ่งนี้ค่อยว่ากันต่ออีกที..

วันเสาร์ที่ 18 กุมภาพันธ์ 2555

ดูเหมือนว่าจะงานเข้าแต่เช้า เพราะนงโทรแจ้งผมว่าตอนนี้ HOSxP มีปัญหาหนักกว่าเก่า คือ เข้าใช้งานที่ห้องตรวจโรคแล้วเกิดอาการค้าง ทุกเครื่องต้องเปลี่ยนไปใช้เมนูซักประวัติ และลงข้อมูลผ่านเมนูนี้แทน ซึ่งดูเหมือนว่าปัญหาเริ่มมีอาการมากขึ้น หลังจากที่พูดคุยกับทางนงและอั๋น พวกเราจึงตัดสินใจที่จะหยุดระบบ เพื่อป้องกันการเสียหายที่อาจจะมากไปกว่านี้ แต่เนื่องจากยังมีคนไข้รับบริการในช่วงเช้าค่อนข้างมาก แผนสำรองเตรียมความพร้อมกรณีระบบล่มจึงถูกนำปัดฝุ่นใช้งาน

ผมให้อั๋นเตรียมฐานสำรองสำหรับค้น HNผู้ป่วยชั่วคราว ให้ประสานงานกับทางแพทย์ /พยาบาลที่จะ ต้องใช้วิธีดั้งเดิมในการเขียน OPD CARD เพื่อตรวจรักษา  และเมื่อผู้ป่วยที่ตรวจรักษาเสร็จแล้วให้เก็บ OPD CARD ไว้ก่อนยังไม่ต้องนำกลับเข้าชั้นเพื่อรอลงข้อมูลย้อนหลัง แต่เนื่องจากคนไข้ในช่วงเช้าที่ผ่านการซักประวัติมีค่อนข้างเยอะ พยาบาลจึงขอเวลาในการเก็บข้อมูลการซักประวัติไว้ก่อนที่พวกเราจะจัดการอะไรกับ server หลัก ทำให้เวลาล่วงเลยไปจนถึงช่วงบ่าย

เมื่อทุกอย่างพร้อม เนื่องจากไม่มีใครให้คำแนะนำที่ดีกว่านี้ "อัตตาหิ อัตตาโนนาโถ ..ตาโถทำนาด้วยเครื่องอัตโนมัติ " ไม่มีอะไรดีไปกว่าการพึ่งตนเองผมจึงให้อั๋นลอง restart MYSQL ที่ต้องใช้แผนกรณีระบบล่มก็คือ คิดแบบเลวร้ายสุดๆว่า ตารางมันเสียหาย restart แล้ว MYSQL มันเจ้งไปเลย

แต่สถานการณ์ก็ดีกว่าที่คิดครับ ระบบยังคงทำงานได้ปกติ อาการของห้องตรวจที่ค้าง ปัญหานี้หมดไปยังคงมีแต่ปัญหาแก้ไขข้อมูลผู้ใช้ไม่ได้เหมือนเดิม.

ผมจึงลองเข้าไปเช็คดูตาราง opdgroupและ opduserอีกครั้ง มีบางอย่างที่ผิดปกติคือ groupและรายละเอียดของฟิลด์ที่ดูแปลกๆ จึงลองแก้ไขอีกครั้ง และเมื่อเข้าไปที่เมนูแก้ไขข้อมูลผู้ใช้ ผมทดลองเลือกการเพิ่มผู้ใช้รายใหม่ แต่ไม่เพิ่ม กดปิดไปก่อน แล้วเรียกรายชื่อผู้ใช้คนอื่นมาแก้ไข ปรากฏว่าทีนี้ไม่มีปัญหา สามารถเรียกใช้ได้ตามปกติ ทดลองปิดเปิดโปรแกรม HOSxP และเข้าใหม่ เลือกแก้ไขข้อมูลผู้ใช้โดยตรงก็พบว่าปัญหาดังกล่าวหายไปแล้ว..

ดูเหมือนว่าปัญหาทั้งหมดจะมีสาเหตุมาจากการเซตข้อมูลผู้ใช้ ทีมีปัญหาเช่น ในเมนู group กำหนด group ชื่อ พยาบาล และมีการเลือก access_menuไว้ แต่พอไปดูในตาราง opd_user ในฟิลด์ access_menu กลับมีข้อมูลไม่ตรงกันกับ group ที่เลือกไว้ ซึ่งพอทดลองแก้ไขให้ถูกต้องถึงสามารถใช้งานได้ตามปกติ..

ผมโทรแจ้งนงให้คีย์ข้อมูลส่งตรวจให้ครบ และเฝ้าระวังปัญหาต่อว่าจะมีเกิดขึ้นซ้ำหรือไม่หากมีปัญหาให้แจ้งให้ทางทีมทราบทันที ก่อนที่จะยกเลิกแผนฉุกเฉินกรณีระบบล่มในเวลา 16.39 น.

สิ่งที่ได้เรียนรู้

• แผนสำรองเตรียมรับมือ กรณีระบบล่ม
• การแจ้งผู้บริหาร ประสานงาน/ซักซ้อมทำความเข้าใจกับผู้ใช้
• การสำรองข้อมูลก่อนแก้ไขทุกครั้ง
• การทดสอบในฐานสำรอง ก่อนทำในฐานจริง
• การเฝ้าระวังปัญหากลับมาเกิดซ้ำ